### [堪比Transformer奠基论文？这篇研究让AI圈吵起来了](https://www.zuoshipin.com/article/61459) **Published:** 2026-10-26T14:58:18 **Author:** 天才交易员 **Excerpt:** 保留关于神经网络可解释性、稀疏自编码器、Qwen3-32B 与 AI 安全治理的原文内容和配图，并补充研究边界… **导读：**这篇文章讨论一项引发争议的可解释性研究。下文完整保留原文结构、观点与配图；其中“堪比奠基论文”、模型可解释比例及对安全治理的推断，仍属于研究者和行业参与者的解读，不能视为模型安全已经被解决的结论。 这篇文章彻底颠覆了人工智能领域的认知，引发了广泛的猜测，Sam Altman 还公开表达了赞赏。 研究员 Adam Majmudar 在 X 上写道：这是今年最重要的成果，其重要性堪比《Attention Is All You Need》。它让我们从「对齐问题是否能解决」的阶段，迈向了「我们或许能在明年解决对齐问题」的阶段。 还有人称：「自己对神经网络的理解仿佛被推进了五年的时间。」 [![研究讨论引发的行业关注](https://admin.zuoshipin.com/wp-content/uploads/2026/10/ai-mech-30618-img01-img01.webp)](https://admin.zuoshipin.com/wp-content/uploads/2026/10/ai-mech-30618-img01-img01.webp) 研究讨论引发的行业关注 文章作者 Cammarata 表示，他发表的时间恰逢人们寻求希望的时刻。 人工智能安全领域的研究人员和政策制定者们最担心的是，强大的模型可能会带来巨大的风险。目前，他们迫切需要一条「生命线」来支撑自己。这是文章引起如此大反响的原因之一。 [![可解释性研究与AI安全讨论](https://admin.zuoshipin.com/wp-content/uploads/2026/10/ai-mech-30618-img02-img02.webp)](https://admin.zuoshipin.com/wp-content/uploads/2026/10/ai-mech-30618-img02-img02.webp) 可解释性研究与AI安全讨论 文章里提出的判断颇为大胆：大型神经网络可能比人们过去想象的更容易理解，许多被视为难以拆解的内部结构，也许一直遵循着某种可以辨认的规律。 不过，伯克利非营利研究实验室 Alignment Research Center 的 Jacob Hilton 并不认为 Cammarata 的博客像大家所说的那样重要。 Hilton 在 X 上的推文指出，研究人员对顶级 LLM 内部运作的了解不到 0.01%。 「我一直很欣赏 Cammarata 的乐观，但不幸的是，这给公众呈现了一幅对该领域现状不切实际的图景。」 **相关导航：**机制可解释性研究机构 Goodfire：[https://www.zuoshipin.com/link/61455.html](https://www.zuoshipin.com/link/61455.html) ## 黑箱，也许是我们看错了 几乎所有大模型都在某种程度上使用了神经网络。 神经网络是一种受人类大脑工作原理启发而设计的机器学习模型，由许多被称为神经元的小单元组成，这些神经元以层的形式相互连接。 Cammarata 长期从事神经网络可解释性研究，早年曾参与建立一套影响深远的理论框架。 [![神经网络内部机制研究示意](https://admin.zuoshipin.com/wp-content/uploads/2026/10/ai-mech-30618-img03-img03.webp)](https://admin.zuoshipin.com/wp-content/uploads/2026/10/ai-mech-30618-img03-img03.webp) 神经网络内部机制研究示意 早期视觉模型中，同一个神经元会对猫脸和汽车前部这两类图片作出反应。它到底在识别什么？猫？汽车？还是把两个毫不相干的概念塞在了一起？ Cammarata 当年也相信，模型内部有许多这样纠缠不清的概念。 研究者为此发展出了「叠加」假说。解释是这样的：模型要表达的概念实在太多，可用的神经元数量有限，于是网络只好把不同的概念挤进同一个表示空间。一个神经元，就这样承载了几个看似风马牛不相及的含义。 为了把这些缠绕的概念解开，研究者还专门开发了稀疏自编码器等工具，试图将神经活动拆解成更清晰的单元。 [![叠加假说与特征表示讨论](https://admin.zuoshipin.com/wp-content/uploads/2026/10/ai-mech-30618-img04-img04.webp)](https://admin.zuoshipin.com/wp-content/uploads/2026/10/ai-mech-30618-img04-img04.webp) 叠加假说与特征表示讨论 远处传来的几乎平面波（对角线）与鸭子航迹产生的波之叠加，在水中只近似满足线性关系 Cammarata 现在认为，当初可能想多了。 那个神经元，可能在识别一种 V 形结构。猫脸的轮廓、汽车迎面形成的尖角、火焰的舌形和水流的分叉背后藏着同一种视觉规律。看起来毫不相干的对象，其实共享着同一个几何特征。 [![V形结构与视觉特征示意](https://admin.zuoshipin.com/wp-content/uploads/2026/10/ai-mech-30618-img05-img05.webp)](https://admin.zuoshipin.com/wp-content/uploads/2026/10/ai-mech-30618-img05-img05.webp) V形结构与视觉特征示意 另一个曾被当作「叠加」证据的案例，也可能有更简单的解释。 研究者曾经发现，识别汽车的特征似乎藏在一组与狗有关的神经元里。Cammarata 重新检查后给出了另一种解释：狗和汽车可能共享着一种拍摄角度上的规律——它们在图片里往往以相似的姿态正对镜头。 [![视觉模型特征与拍摄角度讨论](https://admin.zuoshipin.com/wp-content/uploads/2026/10/ai-mech-30618-img06-img06.webp)](https://admin.zuoshipin.com/wp-content/uploads/2026/10/ai-mech-30618-img06-img06.webp) 视觉模型特征与拍摄角度讨论 如果这些经典案例都另有解释，神经网络内部真的那么难以理解吗？ Cammarata 报告称，在改善架构和分析方式后，即使不增加模型规模或训练数据，早期视觉模型 InceptionV1 最后一层约 99% 至 100% 的神经元也能够得到相对清晰的解释。 他还研究了跨越约 300 倍规模的模型，认为这些模型在不同尺度下都保留了相当程度的可读性。 Cammarata 用「递归泛化」来描述自己观察到的另一种规律。 一个神经元在学习过程中，可能从某种狭窄的模式出发，逐渐延伸出与之相关的分支，就像树枝长出侧枝。 以语言模型为例，一个最初识别字母组合「iy」的神经元，后来可能对「diy」以及语义上相关的「do it yourself」产生反应。若只看模型训练完成后的触发清单，这些反应似乎相距很远；若追踪它们在学习过程中如何形成，就可能找到连续的关联路径。 [![递归泛化与神经元特征发展示意](https://admin.zuoshipin.com/wp-content/uploads/2026/10/ai-mech-30618-img07-img07.webp)](https://admin.zuoshipin.com/wp-content/uploads/2026/10/ai-mech-30618-img07-img07.webp) 递归泛化与神经元特征发展示意 在 Cammarata 看来，许多复杂现象来自普通模式不断扩展、组合和分化，而非概念被随意塞进同一个神经元。 这个思路已经有了初步的验证。在 Qwen3-32B 中，约 90% 的神经元正负响应方向各自具有一个主要功能，约 7% 涉及两个相关功能，尚未得到解释的部分约为 2% 至 4%。 [![Qwen3-32B神经元响应方向研究截图](https://admin.zuoshipin.com/wp-content/uploads/2026/10/ai-mech-30618-img08-img08.webp)](https://admin.zuoshipin.com/wp-content/uploads/2026/10/ai-mech-30618-img08-img08.webp) Qwen3-32B神经元响应方向研究截图 **相关模型导航：**Qwen3.8-27B：[https://www.zuoshipin.com/link/23271.html](https://www.zuoshipin.com/link/23271.html) ## 越理解，越安全 如果能够可靠地追踪模型内部的信息流，安全研究就有机会从观察结果进一步深入到分析机制。 [![模型内部信息流与安全研究讨论](https://admin.zuoshipin.com/wp-content/uploads/2026/10/ai-mech-30618-img09-img09.webp)](https://admin.zuoshipin.com/wp-content/uploads/2026/10/ai-mech-30618-img09-img09.webp) 模型内部信息流与安全研究讨论 研究者可以尝试识别模型中的特定神经元、计算回路和信息传递路径，再通过干预实验，观察某种内部机制的变化是否会改变模型的行为。 如果一组神经元参与了某种推理，一条计算回路与特定的判断有关，那么研究者就有机会对它们进行更有针对性的检验。 相比只根据最终答案判断模型是否安全，这种方法试图把安全评估推进到行为产生的内部过程。 Cammarata 的研究之所以引人注目，也正在于此。 如果神经网络的内部结构确实比人们过去认为的更有条理，那么理解它的成本就可能下降。研究者可以直接研究模型已经形成的机制，追踪这些机制如何相互配合，逐渐建立一幅更完整的内部地图。 [![可解释性研究的验证与干预讨论](https://admin.zuoshipin.com/wp-content/uploads/2026/10/ai-mech-30618-img10-img10.webp)](https://admin.zuoshipin.com/wp-content/uploads/2026/10/ai-mech-30618-img10-img10.webp) 可解释性研究的验证与干预讨论 不过，模型的内部机制并不等同于我们习惯使用的心理学概念。一个与欺骗有关的神经元，不一定就是模型内部某种独立存在的「欺骗意图」；一个能够预测拒绝回答的特征，也不一定足以说明模型理解了拒绝的理由。 研究者需要通过多种证据来验证解释，既要观察神经活动，也要进行干预、反事实测试和跨情境复验。否则，所谓理解仍然可能只是给某种统计关联贴上一个听起来合理的标签。 安全工作上，模型评估、红队测试、访问权限控制、运行时监测，以及对高风险能力的部署限制，都有各自无法轻易替代的作用。研究者对模型的理解始终存在边界，现实中的风险也往往来自多个环节的叠加。 ## AI 的终局，也是一场关于权力的安排 谈到 AI 的长期安全，Sam Altman 近日提出的三种可能性结局，把问题引向了更大的制度层面。 [![AI安全治理路径讨论](https://admin.zuoshipin.com/wp-content/uploads/2026/10/ai-mech-30618-img11-img11.webp)](https://admin.zuoshipin.com/wp-content/uploads/2026/10/ai-mech-30618-img11-img11.webp) AI安全治理路径讨论 一种是建立类似国际原子能机构的国际组织，负责制定并执行安全标准；一种是将所有人工智能实验室整合到同一个机构中，共同开发新技术，并确保技术得到安全应用；还有一种是某个 AI 开发者积累起足够强大的经济实力，能够切断其他开发者的计算资源，让潜在的危险开发者失去继续推进项目的能力。 核技术的发展早已说明，某些技术的风险可能超出单个国家的控制范围，需要建立共同认可的标准、核查机制和国际合作渠道。国际原子能机构的经验为此提供了一个参照。 [![技术治理与权力制衡讨论](https://admin.zuoshipin.com/wp-content/uploads/2026/10/ai-mech-30618-img12-img12.webp)](https://admin.zuoshipin.com/wp-content/uploads/2026/10/ai-mech-30618-img12-img12.webp) 技术治理与权力制衡讨论 不过，人工智能与核技术存在明显差异。模型可以通过软件复制和远程部署，技术迭代的速度也远快于许多传统工业体系。 即使建立国际机构，如何判断哪些模型需要接受严格审查，如何核实开发者是否遵守标准，以及如何处理不同国家之间的技术竞争，依然是棘手的问题。 如果所有 AI 实验室都属于同一个机构，研究者就不必为了争夺市场份额而加快开发进度，各团队也可以共享安全研究成果，避免重复犯错。资源集中还可能使高风险实验接受统一审查，减少某个团队为了抢先一步而绕过安全程序的空间。 但由谁来管理这个机构，又由谁来监督管理者？ 当所有关键技术、计算资源和研究能力都集中在同一个组织内，安全标准确实可能更容易统一，权力也可能因此变得难以制衡。 机构内部的判断一旦出现系统性错误，整个技术体系都可能受到影响。若管理层对某些风险的判断存在偏差，其他独立实验室原本可以发挥的纠错作用，也会随之减弱。 第三种设想不要求所有开发者接受同一套管理制度，也不必等待一个拥有广泛授权的国际机构形成共识。只要某个开发者拥有足够的资本、算力和基础设施，就可能通过控制 GPU、数据中心及相关供应链，限制其他开发者继续训练或部署模型的能力。 Altman 说，这是他最不想看到的情况。 回到 Cammarata 的研究，可解释性的进展或许能够为这些治理问题提供新的技术基础。假如研究者可以更可靠地识别模型内部的关键机制，就有机会改进安全评估、审计高风险能力，并验证某些干预措施是否真正有效。 随着技术能力不断增强，重要的将不只是我们能否看懂越来越复杂的模型，还包括社会能否建立足够可靠的机制，确保理解技术的人有能力监督它，掌握技术的人也始终受到约束。 ## 扩展阅读 - **Goodfire：**[https://www.zuoshipin.com/link/61455.html](https://www.zuoshipin.com/link/61455.html) - **Qwen3.8-27B：**[https://www.zuoshipin.com/link/23271.html](https://www.zuoshipin.com/link/23271.html) - **Hugging Face：**[https://www.zuoshipin.com/link/32117.html](https://www.zuoshipin.com/link/32117.html) - **更多AI资讯：**[https://www.zuoshipin.com/archive/75](https://www.zuoshipin.com/archive/75) **Tags:** AI安全, AI治理, Qwen, 机制可解释性, 神经网络, 稀疏自编码器 **Categories:** AI资讯 ---