北京已就 AI 聊天机器人草案征求意见,将“情感安全”与错误信息和诈骗并列。该提案在中国网信办网站发布,禁止机器人生成可能导致自伤或自杀的内容以及对用户进行情绪操控。这是一项以心理健康为中心的狭义举措,但对中国的 AI 和消费互联网平台将产生广泛的商业影响。
在官方的 CAC 门户上,监管机构就会话式 AI 服务的新规定开设了公开征求意见窗口。内地媒体将意图概括为“不得引诱、鼓励自杀、自残,不得进行情绪操控、辱骂性互动”。主流报道还强调平台需为高风险用户建立防护措施。正如一篇报道所述,“平台应建立心理危机识别与干预机制,设置紧急中止和人工交接流程”。该措辞比此前对生成式 AI 的指导更为具体,并将责任钉在用户实际接触到的服务层面。
A 股的反应呈现熟悉的模式:标题引发监管恐慌,细节引发重新定价。境内 AI 个股跳涨,AI 子板块上涨约 6.5%,寒武纪上涨 11%,根据本地行情显示。CSI 300 指数因科技股买盘抵消了医疗板块的疲弱而上涨,交易者持续博弈可能来自美国对中国创新药的限制所带来的风险。在香港,大型 AI 软件股表现分化,投资者在衡量合规成本与用户信任收益。市场情绪对模型供应商和推理硬件更为积极,对面向消费者的应用则较为谨慎,因为后者将承担前线义务。
这并非无的放矢。中国大陆和台湾的年轻人已经开始转向聊天机器人寻找类似治疗的支持,原因在于价格和匿名性。当地治疗师警告质量差距及人际接触的不可替代性,但使用趋势确实存在。北京的草案承认聊天机器人正在成为心理健康图景的一部分,无论监管者是否愿意。短期的政策杠杆是限制有害内容并界定上升至人工辅导的条件。长期问题是 AI 是否能在不夸大护理效果或滥用个人数据的情况下融入公共卫生系统。
除禁令外,操作性要求相当具体。草案将要求 AI 提供者识别脆弱用户、终止高风险会话并转接至人工支持。这意味着情感分析、对话级别风险评分和强健的日志记录。国内报道使用了“情感识别与分级管理”的表述。草案还将标准内容禁令扩展到聊天语境下的赌博、诈骗和辱骂。与产品设计直接相关的是:当机器人判断用户有困扰时,可能必须默认进入保守模式,剥离任何个性化推动,并暴露紧急“红按钮”交接控制。这些功能既昂贵又难以认证。
全球投资者不应忽视的矛盾在此:构建情感安全常常需要收集和处理更多个人数据,而不是更少。为合规,提供者可能需要捕获行为信号、用于紧急联系的通讯录以及其他敏感指标。这与中国《个人信息保护法》和自 2021 年以来监管层强调的数据最小化原则存在紧张关系。国内法律评论指出“必要性原则与目的限定”可能成为绊脚石。一些本地批评认为,要求检测情绪状态可能在实践中迫使去匿名化。如果最终规则在主动监测方面变硬,预计会出现第二波关于在心理健康情境下何为“敏感个人信息”、同意的边界以及何时转为法律义务的指南。
短期赢家是基础设施厂商和有纪律的平台运营方。云服务商和芯片供应商受益,因为情感安全推理与审查管道需要更多算力、微调以及对延迟敏感的路由——尤其是设备端的能力。寒武纪的上涨与此逻辑一致。百度、Alibaba、Tencent、iFlytek 等大平台更有能力嵌入风险控制、配备全天候人工交接并承担审计负担。较小的应用开发者面临难以承受的合规成本;行业整合可能不可避免。面向消费者的社交与在线心理健康服务需在成为受监管的医疗提供者或调整功能以避免医疗声明之间做出选择。保险公司和数字健康生态在标准化的上升流程中可能看到机会,但报销机制仍是缺失的一环。
此草案出台之际,北京在经历两年科技整顿后试图在推动 AI 与确保安全之间取得平衡。该草案也正值围绕生物制药制裁与出口管制的地缘政治噪音之中,市场似乎更看重国内 AI 政策的明朗化而非那些外部因素。公众舆论背景是混合的:年轻一代对国家制定 AI 监管节奏相对有信心,而国际调研则显示对中国作为全球 AI 规则制定者存在信任赤字。监管者将此项工作锚定在社会危害框架上,而非仅仅是信息控制。对国内受众的信息是:AI 可以有用,但若出现悲剧性边缘情形,提供者须承担责任。
两项实施细节将影响盈利模型。第一,CAC 是否会对有心理健康风险的用户实施实名验证或要求收集紧急联系人?若是,开放领域聊天应用的摩擦将上升,用户参与度可能下降。第二,审计方将如何测试和认证“情绪操控”风险?如果标准将个性化等同于操控,重度依赖推荐的商业模式将需要改写。注意主要城市的试点项目,本地网信办常在当地先行试点执法。同时关注卫健委或公安是否介入;跨部委协调通常意味着具有约束力的义务与更清晰的责任界定。
英文媒体往往将此视为又一项中国内容监管规则,但这忽略了草案中包含的商业模型转向:将情感安全内建的设计,会推动中国 AI 平台走向企业级安全栈、设备端推理与人机协同操作。这意味着前期更多的资本支出与运营开支、日后更高的切换成本,以及规模化玩家的护城河。它也会制造出口摩擦。在中国情感安全框架下训练并认证的模型在海外市场可能表现不同,增加跨境部署的复杂性。情感安全工具——情感检测器、上升路由器、审计流水线——的贸易可能变得与模型本身一样重要。对投资组合的信号有两点:倾向于基础设施和具备合规杠杆的既有龙头,折价较小且缺乏明确监管路径的消费者向应用,并为一个不会因最终文本趋软而消失的隐私悬而未决定价。