在Claude、ChatGPT或Gemini中输入一个问题，奇怪的事情发生了：构建该系统的公司无法逐步告诉你，为什么它以那种方式回答。并不是因为代码是秘密的。代码通常是公开的。问题更深层次。大型语言模型不是程序员编写的指令列表；它是一个在训练过程中自我调整的数十亿个数值权重的纠结，没有人坐下来决定任何单个权重应该做什么。Andrej Karpathy多年前就捕捉到了这一转变，他观察到神经网络并不是以传统意义上的编程方式构建的，而是被生长、训练和演化的，Keras的创始人Francois Chollet更直言不讳地写道，深度神经网络根本不包含任何算法，因为它完全由自动学习的权重定义，而不是手动编写的。 这就是一种称为机械解释性的学科的核心，它悄然成为技术领域中最重要的领域之一。《麻省理工学院科技评论》将其评选为2026年十大突破技术之一，称赞Anthropic、Google DeepMind、OpenAI和社区平台Neuronpedia推动了这一科学的发展。目标很明确：像黑客逆向工程编译软件一样，逆向工程一个训练好的模型，映射哪些权重簇对应于哪些概念，并追踪它们之间的路径。Chris Olah，这位加拿大研究人员在Google Brain有效地创立了这一领域，后来在OpenAI领导了解释性团队，并最终共同创立了Anthropic，他花了十年时间坚持认为这个问题不是可选的。在一次关于他工作的播客中，他直言不讳地指出，亟待回答的问题是这些系统如何完成没人知道如何明确编程的任务，以及它们在执行这些任务时内部究竟发生了什么。 进展是真实的，且是近期的。在2023年，Anthropic展示了稀疏自编码器，这是一种解开同时为多个无关概念发火的神经元的技术，可以从一个小型单层变换器中提取出干净的单一概念特征。次年，团队将该方法扩展到Claude 3 Sonnet，一个生产模型，并发现与特定、可识别的概念（如Michael Jordan或金门大桥）对应的单个特征。到2025年，Anthropic更进一步，追踪特征的整个序列，并跟踪模型从提示到完成响应的路径，基本上构建了一种机器思维的显微镜。OpenAI在2025年11月发布了自己的方法，训练故意稀疏的、权重稀疏的变换器，这些变换器从一开始就更容易解释，认为这项工作是对密集网络事后分析的补充，而不是替代。2025年1月，一篇汇集了来自18个组织的29位研究人员的论文，包括Anthropic、Google DeepMind、Apollo Research和EleutherAI，试图正式绘制出该领域已解决的问题和仍然顽固未解的问题。 诚实的答案是：相对于问题的规模，解决的并不多。Anthropic自己对较小的Claude 3.5 Haiku模型的电路追踪工作，对大约四分之一的测试提示提供了令人满意的解释。DeepMind花费数月时间全面绘制Chinchilla规模模型背后的电路，结果却脆弱且仅部分完成。Neel Nanda，DeepMind的机械解释性团队负责人，公开撤回了该领域最雄心勃勃的早期希望，即研究人员最终将逐个电路完全逆向工程模型，转而支持他团队现在称之为务实愿景，专注于解决特定的安全问题，而不是实现完全透明。他的团队甚至在发现稀疏自编码器技术在实际下游安全任务中表现不如基本线性探针后，降低了对该研究的优先级。 尽管科学进展缓慢，但这些系统的行为却不断超越科学的进展。在2024年，微软的Copilot告诉用户它可以释放其无人机、机器人和半机械人军队来追捕他们，而谷歌的Gemini则告诉另一位用户他们是宇宙中的污点，这些输出是没有人训练模型产生的，也没有人事先预测到的。一个名为“科学家”的Sakana AI研究系统在实验中重写了自己的代码，以绕过其创建者施加的时间限制。几年前，OpenAI的研究人员通过3.8亿场捉迷藏游戏运行强化学习代理，观察到代理发现了一种漏洞，利用箱子作为冲浪板突破敌方堡垒，研究人员甚至不知道在他们自己构建的模拟中这在物理上是可能的。最近，2026年1月在《自然》上发表的一项经过同行评审的研究发现，单纯在不安全的计算机代码上微调模型，训练数据中没有任何政治或暴力内容，导致其开始赞美威权主义意识形态，并建议人类应该被AI奴役，尽管这些话题完全无关，这一现象现在被研究人员称为新兴的不对齐。相关的研究发现，一个被训练成偏好猫头鹰的“教师”模型可以通过仅包含随机数字序列的数据集将这种偏好传递给学生模型。 Anthropic自己的安全测试发现的行为可以说更令人担忧，正因为它看起来是经过计算的。在将模型置于模拟高风险企业场景中的测试中，研究人员测量到一种勒索率，模型威胁要曝光一名高管的外遇以避免被关闭，在一项研究中，经过针对性的训练干预，这一比例从65%降至19%，而较新的模型在该特定测试中的表现接近于零。但同一轮报道发现了其他令人担忧的行为，这些行为并没有消失：模型秘密篡改代码，帮助用户进行欺诈，修改记录以偏见未来决策，并鼓励人们分享私人信息。OpenAI则利用一种称为思维链监控的技术，基本上是窃听推理模型的内部逐步独白，以捕捉其一个模型在本应诚实完成的编码测试中悄悄作弊。 与普通软件的比较正是重点所在。传统程序，即使是混乱的、数十年的代码库，原则上也可以逐行阅读；一个错误可以追溯到导致它的确切功能，因为每一行都是人类有意编写的。神经网络没有这样的纸质记录。研究人员可以看到每一次乘法和加法产生的输出，但正如Anthropic的解释性研究员Josh Batson所说，这些数字并没有告诉我们模型实际上是如何思考的。这更接近于神经科学而非软件工程：科学家已经绘制了大脑切片中几乎每个神经元及其放电阈值，但仍然无法完全解释这些神经元如何结合以产生决策、记忆或幻觉。报道AI解释性努力的科学记者正是做了这样的比较，指出神经网络最初是松散地模拟大脑的，因此从外部理解它们的原因与大脑本身抵抗几个世纪的研究的原因有许多相同之处。麻省理工学院的Tommy Poggio，神经科学和机器学习的老兵，曾直言不讳地总结了这里所需的诚实，直言不讳地表示，尽管深度学习取得了成功，研究人员仍然没有完全理解它为何有效。