[技术] 复旦贾萧松:VLA、WAM 新架构层出不穷,但瓶颈其实不在模型架构

🌲Lv.3 初级 🌏 正式会员
2026-10-20 12:37:31
这是雷峰网「世界模型 50 人」系列的一篇访谈。贾萧松现为复旦大学可信具身智能研究院助理教授,研究灵巧手与 Ego 数据;他的博士经历恰好穿过了自动驾驶过去几年几次重要的路线转向,而这些问题的形状正在具身智能领域重新出现。

几个我觉得最有信息量的判断:

**端到端最重要的价值是直接优化最终目标,中间任务的主要作用是监督信号,而非可解释性。** 他回顾 2021 年被导师严骏驰劝着从轨迹预测转向端到端:轨迹预测夹在感知与决策之间,上游信息未必传得下来(行人招手的意图、前车刹车灯亮起),它预测出的六种可能轨迹,下游决策往往只用一种,模块做得再好也未必改善整个系统。模块化还有两个毛病:模块之间传递时信息持续损失;各模块优化目标不一致,感知团队花几个月把 200 米外车辆的检测率提上去,对城区决策可能根本不重要。但端到端也不等于要砍掉所有中间任务——监督信号太稀疏了,海量图像点云最后可能只对应几十步轨迹,「中间任务的点数可能不是关键,但监督信号非常重要」,这和他今年在 RSS 2026 发表的 GuidedVLA 思路一致。

**他也修正了自己早期的看法:中间任务是在提供监督信号,不代表真的实现了可解释。** 检测到某辆车,不代表下游决策真的会在意它;没检测到,也不代表端到端模型内部不知道它的存在。

**落地仍然离不开规则。** 有些行为绝对不可接受,看到人不能直接撞上去,这件事不能完全交给存在不可预测性的神经网络。他借大模型圈的说法打了个比方:规则是不是可以叫自动驾驶的 Harness?从安全、保险、监管角度考虑,外挂机制在未来相当长一段时间内都少不了。

**模仿学习的上限,是他在 2022 年就意识到的。** 做 ThinkTwice 时仿真能近乎无限地生成数据,他们采了自认为「几乎无限」的数据,用 100TB 硬盘加上大量算力去训更大的模型,结果却发现:随着数据和模型规模不断增加,驾驶能力并没有从「开得还行」跃升到「开得完美」。他由此判断瓶颈可能不在神经网络结构,也不只是数据规模,而是模仿学习这种训练方式本身存在局限。

对现在追 VLA、WAM 新架构的人来说,这个结论挺值得琢磨:换架构能不能解决问题,可能得先回答「瓶颈到底在哪一层」。

原文链接:https://www.leiphone.com/category/academic/omK9nE62h3kHaQg5.html
来源:雷峰网
我就是我,不一样的烟火🎇
| 浏览 5 次 | 回复 0 次

全部回复 (0)

暂无回复

请 登录