走的是做理论的人
在微软待了 14 年的 John Langford 离职了,他是微软 AI Frontiers 的联合创始人之一,长期做机器学习与学习理论,也是上下文多臂老虎机这一方向的推进者、Vowpal Wabbit 的主要开发者,2019 到 2021 年任 ICML 主席。他的理由很直:研究看不到落地路径,创新想法难被认真考虑。
分歧在路线
他那个约 50 人的团队 9 月被并进苏莱曼领导的 Microsoft AI。他承认扩规模能改善预测、对企业回报也更好算,但反对把它当唯一核心——重心全压在数据上,探索新方法的空间就被挤掉。
那篇论文
8 月的「全带宽 Transformer」让模型在生成下一个词元时重用内部中间状态,10 亿参数、更少数据,接近用约 1.5 倍数据训练的常规模型,单 token 开销很小。字节 Seed 在 10 月 25 日发布思路相近的 Recycler,推理与数学上能超过参数多两到三倍的模型。
两种口径
微软的说法是团队整合,AI Frontiers 页面 9 月更新后仍写「now part of Microsoft AI」;当事人的说法是创新落不了地,连认真讨论都难;微软对此没有公开回应。数字一致,落点不同:一边是组织安排,一边是方法被搁置。
原文链接:https://www.ithome.com/1/027/078.htm
来源:IT之家 / Windows Latest