如果 AI 中便宜的部分是模型,而昂贵的部分是错误,会怎样?我们把预测机器当作免费杠杆来使用,事实上它们创造了一类新的负债资产。AI 采用的悖论很简单:我们自动化得越多,一次错误的输出就越可能级联成许多错误的行动。市场在定价 AI 时好像它是线性的生产力工具。它不是。它是对洞察与错误的非线性放大器。
最近一项调查显示,近三分之一的公司已经因 AI 不准确遭受了负面后果。这不是一个可忽略的小数。在风险术语中,这不是一个你可以预算的白天鹅事件。这是“正常事故理论”应用到概率性软件上的表现。Knight Capital 因为确定性代码故障在几分钟内损失数亿美元。现在把“确定性”换成“随机”,把这些输出接入客服、定价、信贷、库存和营销。小的错误率一旦循环通过自动化流程,就会改变规模。1% 的幻觉率并不意味着业务有 1% 处于风险;它是桥梁上一个松动的螺栓,在压力下会把力传到错误的梁上。公司很少模拟这种传播。他们报告准确率并称之为治理。准确率是虚荣指标。损失分布才是真正的关键绩效指标。
保险公司走在前面。法律学者注意到,保单正在增加针对 AI 相关损失的排除或限额。董事与高管责任保险可能不涵盖与 AI 驱动决策相关的责任。把这翻译到资本市场:更多风险留在资产负债表上,由股权持有人承担。这也是一个久期问题。AI 部署承诺长期利润率扩张,但排除条款把失败的成本提前到了第一次重大事件。估值故事假定数十年的复利收益。负债故事则认识到一次重大失误就能损害品牌、触发监管行动或迫使重述。我们并不像银行计提贷款损失准备那样为 AI 风险计提准备金。也许我们应该。准备金的缺失并不意味着风险消失;它意味着风险未获资保。
公司报告的可解释性问题大约是错误率问题的一半。这听起来可控,直到你记起博弈论。你不是在部署一个工具;你是在与研究你工具失效模式的对手竞争。黑箱并非中立。它们是攻击面。金融行业有数十年的模型风险管理学说。像 SR 11-7 这样的监管指引存在是有原因的:你无法解释的东西,你就无法控制。如果你的采购、人力或承保堆栈在做出你无法分解的决策,你就是把治理外包给了那些你不拥有的权重和训练数据。在压力事件中,你无法向监管者或法院说明决策为何如此。这不是技术上的不便。这是控制失败。
问高管们 AI 的首要风险是什么,数据隐私和安全往往排在幻觉之前。他们是对的。调查显示约 80% 的公司将数据风险置于首位,近一半在早期部署中已经发生过意外数据暴露。直接威胁不是一个变节的超级智能,而是敏感数据通过日志、提示或供应商微调被泄露。下一个威胁是对手的不当利用。网络安全专家警告说,新模型能力更强,这也包括在不良任务上的表现。双重用途不是边缘情况,而是默认状态。如果你将第三方模型集成到你的工作流程,你就继承了他们的供应链、激励和脆弱性。大多数公司还没有绘制这套依赖关系图。他们有软件的 SBOM,但没有模型和数据的清单。你无法修补那些你未列入清单的东西。
为什么公司要如此急速地推进 AI?因为竞争惩罚谨慎。这是经典的囚徒困境。如果你放慢步伐,竞争对手就会夺取经营杠杆。双方竞速,双方在安全上投入不足,系统变得更脆弱。业内人士已经对领先实验室内部监督薄弱提出警示。这应当向董事会传递关于在压力下安全预算曲线的信息。在市场中,没有冗余的速度就是隐性杠杆。当意外来临时,它会迅速解开。再结合 Goodhart 法则:优化部署里程碑或演示指标会让行为偏离真实安全。一些演示、一次试点 ROI,会让系统所有者相信沙盒中有效的东西在大规模时也会有效。或许会,直到不再如此。复杂系统不会线性失效。它们会以惊讶的方式失败。
我们把模型错误当作孤立的 bug。它不是。它是一个系统性输入,穿过你的 OODA 回路。错误会重塑员工行为、错误校准仪表盘并推动战略偏移。错误的预测变成错误的招聘,再变成需要通过打折出售产品来消化的过度产能。错误的资格判定变成监管的证物。损失不会以准确率的差异出现,而会在数月后以客户流失、核销或减值显现。如果你用命中率而不是预期损失与尾部风险来衡量 AI,你就是在管理戏剧,而不是战争。
解决办法不是像“人工介入”之类的安慰性口号。当队列增长时,人会走过场。反脆弱的部署更枯燥也更有效。建立断路器。为高风险决策创建慢车道并强制执行等待时间。对每个模型每天设置财务暴露上限。使用金丝雀队列和随机保留组以便观察反事实。运行红队,付费让他们破坏提示并抽取数据。对决策系统做混沌工程:安排故障日,让模型下线且业务必须继续运转。把模型当作一个自信但有时错误的有才华的初级分析师来对待。先验证,再信任。关键是摩擦。现在承受小而可控的损失可以防止未来大而失控的损失。把它想成林业的可控烧除。跳过它们你不会保住树木;你是在储存燃料。
准确率不是目标。校准度、预期短缺(expected shortfall)和按成本加权的错误更好。你不靠胜率来跑交易台;你靠 PnL 分布和回撤来运行。把这种纪律应用到 AI。要求基准率调整和在上线前做事前审判(pre-mortems)。像跟踪外汇风险那样跟踪模型漂移。为漂移或异常分数飙升设置自动降级到仅人工决策的明确阈值。并制定一条规则:决策风险越高,自动化路径越慢。这并非反 AI,而是支持生存。当 AI 成功时,是因为我们在可能伤害我们最严重的地方对其设置了约束,而在错误代价低且可逆的地方让它运行。
投资者在承保 AI 生产力时好像下行是有界的。事实并非如此。公司越是趋同于相似的模型、供应商和数据集,其失败模式就越相关。这是一个等待被定价的市场因素。在宏观冲击中,共同的错误分类可能转化为信贷、招聘、定价和供应链上的同步性失误。这就是隐藏的负凸性。股市很少在运营风险打穿现金流之前对其估价持保留意见。唱反调的观点很简单:AI 带来收益,但它也铸造了一类新负债,这些负债并不整齐地出现在现有披露中。如果董事会想要上行回报,就应该为下行成本做预算,既要有现金也要有时间。把 AI 当作有可变追加保证金的杠杆,而非魔法。