[技术] 推翻十年共识：可解释性学者称现代视觉模型 99% 神经元清晰可读

AI 可解释性领域流传了十年的一个「经典案例」，被它的推动者本人推翻了。

那个案例是 InceptionV1 里编号 4e:55 的神经元——它在看到「猫脸」和「汽车车头」时都会被强烈激活，看上去违背了「一个神经元对应一个概念」的朴素预期，长期被当作「神经网络底层不可解释」的证据。学界据此刻画出一幅图景：越往深层越像一团乱麻，最后一层能被人类读懂的神经元只有 5% 左右，于是提出「叠加假说」，并发明稀疏自编码器（SAE）等工具，把纠缠的特征强行「拆开」再贴标签。

推翻它的，正是当年把这个案例推向经典的《Zoom In》共同作者、OpenAI 早期机制可解释性研究者 Nick Cammarata。他发表了一篇需要读 65 分钟的长文《Neural Networks Are Already Clean》，结论是：神经网络本身远比我们想象的「干净」。

他的新解读是：那个神经元既不认识猫，也不认识车，它检测的是 V 字几何形状。狐狸的尖脸、喷射的火焰、汽车的尖头、消防船喷出的 V 形水柱都会激活它的正极，而圆形的东西——圆脸、圆球、圆车轮——则激活负极。早年误判的根源，很可能是观测工具太低级：2023 年他在 OpenAI 做首个大规模自动化神经元解释项目时，用当时的工具只能解释约 2% 的神经元。

三年后，带着更先进的算法和 Agent 团队重测，情况完全不同：现代视觉模型（如 ConvNeXt）最后一层 99%～100% 的神经元都能找到相当清晰的解释，连当年以「深层混乱」著称的 InceptionV1 用新工具重测，可解释率也大幅提升。

文中还给出两桩「翻案」。一是「猫车神经元」：旧的可视化靠梯度下降合成最强激活图，算法为追求最高激活值会「奖励作弊」，混入猫的胡须、狗的皮毛这类语义残渣，研究者顺着这些附带特征自然读歪了；团队改用激活路径引导 + 正负两极交叉验证后，发现网络其实是按几何分类的。二是「汽车与狗神经元」：它真正检测的是「物体是否正脸朝向镜头、且两侧对称」，汽车的特征信号被打上「正面朝前」的标签后，会向下游分流进各自的分类电路——多义性的根源其实是数据集偏差。

Cammarata 还给多义性一个新解释：递归泛化。神经元像树枝一样生长，最初或许只识别油菜花，沿着「黄色」这条轴拓展到所有黄色物体，沿「圆形外形」延伸到球状物，顺着「花田里的生物」进一步覆盖花田里的狗，最后甚至延伸到西兰花。只看它同时响应油菜花和西兰花，会以为模型逻辑混乱，但追溯生长路径就会发现每一步分叉都连贯。

OpenAI 核心研究员转发时直言，这可能是「科学史上的重要时刻」，意味着可以把 AI 对齐变成一门「常规科学」。如果文章成立，过去几年业界花大力气搞的 SAE 分解、特征字典、特征解缠，可能都走了弯路。

原文链接：https://www.leiphone.com/category/yanxishe/Vr0JmbkUeZV5D9Qz.html
来源：雷峰网