科技界最聪明的实验室可以构建会写代码并跨领域推理的系统，然而它们却无法通过由自己设计的安全考试。最新的 AI Safety Index 将前沿公司在核心保障上评为 C 和 D 级，并在存在性风险上给出不及格的评价。悖论很简单：随着能力的复合增长，纪律与治理滞后。市场为发布而喝彩，而非为克制鼓掌。脆弱的系统正是在增长曲线、纸面承诺和一种把护栏视为税而非必要的文化下隐藏起来的。
该指数直截了当。Anthropic 得 C+，OpenAI 和 Google 大约是 C，其他——Meta、xAI 以及主要的中国实验室——集中在 D 范围。没有一个在存在性安全上合格。自去年以来有所改善的大多是文档。文档不是控制。在工程中，清单应跟随根本原因分析；它们不能取代冶金、冗余或设计裕度。风险存在于尾部，而非文书工作。当最重要的类别——将超智能系统保持在界限内的能力——普遍不及格时，实际的结论是，今天的安全姿态不过是一本放在手套箱里的手册，面对一辆可以自行驶下悬崖的汽车毫无用处。
一位核心审阅者指出了一个显而易见但令人不舒服的观点：基于海量数据训练并扩展的黑箱系统，可能在结构上无法提供公众所假定的保障。这与其说是哲学主张，不如说是一个验证问题。我们不知道大型系统在部署时究竟在优化什么，它们在分布转移下如何泛化，或在对抗性激励下如何表现。红队压力测试和模型卡片有用，但它们不是适航证。在航空或核电领域，安全关乎可证明的约束、隔离和失效梯度。在 AI 领域，我们大多奖励窄基准上的表层行为，然后做外推。Goodhart 法则会完成剩下的工作：优化指标并扭曲它原本要度量的现实。
高管们承认集体行动困境：没有人能独自放慢速度。这就是赤裸裸的囚徒困境。无约束时，收益矩阵推动实验室发布、营销并游说反对有约束力的规则。一旦有可执行的标准，激励就会倒置：先达标，先部署。这就是药物试验、飞机认证与核安全的运作方式。相比之下，今天美国的 AI 监管仍然不如餐馆严格，政策制定者与公众对此并不陌生。结果就是教科书式的监管套利。公司把系统性风险外部化，同时收割私人收益。称其为市场失灵并非意识形态，而是简单的微观经济学。当责任分散、价格被低估且延后时，加速的选项从内部看起来理性，从外部看则鲁莽。
投资者习惯于为动量、选择权与规模定价。他们会折现低频灾难，因为在模型中那看起来像是沉重负担。但 AI 风险不是光滑函数。它存在于厚尾、幂律与相关性故障。当事情崩溃时，它们会一起崩溃——安全漏洞利用、错误信息级联、自动化欺诈、模型外泄，以及在最坏的情况下，人类对关键系统的控制丧失。问问 Boeing，安全债务需要多久才会在资产负债表上浮现。或者回想 Deepwater Horizon：多年的收益在一次非线性事件中被抹去。安全戏法不是护城河。它是延期的负债。市场终将对治理质量定价，但通常是在事故确定系数之后。
该指数覆盖前沿，但损害将从边缘溢出。对开源权重进行微调的小参与者可以在不具备同等流程的情况下匹配能力。放大并货币化 AI 内容的平台——搜索、社交、广告技术、生产力套件——成为放大器。这与 2008 年的模式一致：建立在不稳固抵押上的 AAA 级切片。风险流向影子银行，因为那里监管最弱。在 AI 中，影子部门是衍生生态系统——被工具链锁定的代理、API 市场、越狱社区与数据经纪人。水印与来源证明有帮助，但在对抗压力下它们很脆弱。一旦强大的权重泄露，你无法召回它们。你得到的是扩散问题，而不是产品召回。
有效的治理是带有利齿的限速，而不是禁令。它是规模之前的证据：部署前试验、分阶段推出、真实的遏制措施，以及能阻止发布的独立审计。它是算力治理与事故报告，类似于一个负责 AI 事故的 NTSB。它是当模型造成伤害时明确谁承担责任的法律制度，这样保险公司才能为风险定价，董事会也不能再把安全当作公关问题。它是标准化评估，用以测试误用、自主性与欺骗行为，而不仅仅是聊天性能。它是围绕模型权重的安全要求，将其视为危险材料。所有这些并不要求对 AGI 有预知能力。它要求证据，而非承诺。
业内坚持认为透明度的进步等同于安全的进步。但事实常常并非如此。没有停机开关的风险登记表不过是没有洒水器的消防演习。投资者应当问些无聊的问题：谁有权否决发布？停止条件是什么？红队发现如何映射到门控标准？若治理被忽视，谁承担个人责任？安全应是资本配置的选择，而非口号。构建实际安全边际的公司——深度安全、内部遏制实验室、对抗性采购审查、危机演练——季度之间看起来会更慢。但当潮水退去时，它们也将是拥有持久现金流的企业。
反脆弱系统会因压力而受益，因为它们使失败局部化。今天的 AI 开发集中化了权力与风险。要扭转这一点，生态需要杠铃式设计：一端是大量低风险的破坏性测试与沙箱式试验，另一端是对任何可能放大伤害的事物施加严格约束。使用断路器在异常行为时降低能力。将训练、推理与工具分离以减少单点故障。保护举报者并资助有权力停线的独立评估。建立可解释性以发现目标误泛化，即便是粗糙的，因为有缺口的地图胜过蒙着眼睛。该指数是一面镜子。它显示了一个为速度而优化而非为生存而优化的行业。这不是道德失败，而是结构性失败。但结构可以改变——尤其是当资本要求它并且规则使之不可谈判时。
