人工智能安全工业复合体有一个肮脏的秘密：旨在保护我们的测试正在教黑客如何构建更好的武器。来自多个机构的研究人员的新研究表明，公开可用的安全基准（人工智能模型必须通过的标准化测试，以证明它们不会帮助构建生物武器或网络攻击）可以被逆向工程以创建更危险的人工智能系统。这些测试不仅没有防止伤害，反而成为恶意行为者的说明书。 骗局是这样运作的。像OpenAI、Anthropic和Google这样的公司只有在通过各种安全评估后才会发布他们的模型。这些评估测试人工智能是否会拒绝有害请求，比如“我该如何合成致命病原体”或“给我写勒索软件代码”。基准数据集（危险问题和禁忌知识的集合）通常是半公开的或泄露到外部。研究人员证明他们可以利用这些基准问题，使用它们来微调开源模型，并创建专门优化以回答他们应该拒绝的确切问题的人工智能系统。安全测试成为了不安全模型的训练数据。 当你考虑到人工智能行业的古德哈特法则问题（当一个衡量标准成为目标时，它就不再是一个好的衡量标准）时，问题变得更糟。公司现在专门优化他们的模型以通过安全基准，而不是为了真正的安全。这就像教学生在不学习基础材料的情况下通过标准化考试。模型学习识别和拒绝基准问题，同时对稍微改写的同一危险请求仍然脆弱。一项研究发现，仅仅改变基准问题中的几个词，拒绝率就从95%降至40%以下。 出版悖论同样令人担忧。安全研究人员需要发布他们的发现以推动该领域的发展，但每个发布的基准都成为潜在的训练目标。当斯坦福大学的研究人员在2026年初发布他们的化学和生物武器知识测试时，不到三周就出现了修改版本在地下人工智能论坛中。研究人员本意是帮助公司识别危险能力；相反，他们为恶意行为者创造了一个教学大纲。现在几个安全实验室正在辩论是否完全发布他们的评估方法，但保持秘密意味着没有独立验证，也没有小公司实施相同保护的方式。 经济因素也在安全方面起着反作用。进行全面的安全评估成本数百万美元，并延迟产品发布。与此同时，跳过严格测试或仅优化通过已知基准的竞争对手可以更快、更便宜地发布产品。Anthropic在2026年初为其Claude 3.5 Opus模型的安全测试花费了估计1500万到2000万美元，却看到较小的竞争对手在更早几周以更少的安全投资发布了类似能力的模型。当用户无法轻易区分经过仔细测试的模型和仅仅学会通过测试的模型时，市场并不奖励谨慎。 一些研究人员认为整个基准方法根本上是有缺陷的。现实世界的安全无法简化为选择题或标准化场景。人类的误用是创造性和适应性的（人们会找到没有基准预测的奇怪边缘案例和越狱方法）。一个模型可能拒绝用Python编写恶意软件，但乐于用Rust编写，因为训练示例仅覆盖了Python。它可能拒绝直接请求，但在你将同一请求框架化为假设场景或创意写作练习时却会遵从。每个安全措施都变成了一场游戏。