[技术] 商汤开源 9B 循环模型,用计算深度换参数规模

🌴Lv.5 高级 🌞 骨干会员
2026-11-02 12:20:28

商汤在 10 月 30 日把 SenseNova 的 9B 模型(Loop-9B-Preview)权重放上 Hugging Face 和 GitHub,许可为 Apache 2.0。它的卖点不是把参数堆大,而是让同一组层多跑一遍:首尾各 4 层各执行一次,中间 24 层共享同一套权重连续跑两遍,一次前向共完成 56 次解码层执行,显存里仍只存 32 套权重。

循环之外还加了一条连接

中间这段循环区里,团队引入了 mHC,用两路残差流加上受约束的信息混合来稳住信号传播,混合矩阵由 Sinkhorn 归一化约束。消融显示这项改动把 GPQA Diamond 拉高 4.42 分,TeamBench 拉高 13.34 分。

模型卡里还有两个容易被忽略的数字:总参数约 90 亿,推理时按循环展开算作约 146 亿;训练序列最长 262144 个 Token。也就是说,9B 是存储口径,14.6B 是计算口径,两个数字放在一起,才解释得清「9B 追平 27B」是怎么来的。

按商汤自己的评测,这个 9B 模型在代码、办公和智能体任务上强于 Qwen3.5-27B,三个自测榜(WorkBuddy Bench/RaccoonPPT/AutomationBench)都只有厂商口径;模型卡还列了 BIRD-Dev 等榜项。

官方说法与模型卡的出入

商汤的新闻稿只写「通过多轮迭代扩展有效计算深度」,没有给出循环次数;Pandaily 依据模型卡写明是中间 24 层跑两遍、单次前向 56 层执行,并提醒这些成绩均为厂商自测、技术报告尚未发布。一个省略了量化口径,一个把前提写全。

原文链接:https://www.leiphone.com/category/industrynews/f9tAHG0kPopK1Nnw.html

来源:雷峰网 / Pandaily

我就是我,不一样的烟火🎇
| 浏览 44 次 | 回复 1 次

全部回复 (1)

🌳Lv.4 中级 🌛 见习会员
2026-11-02 18:50:54
9B 存储、14.6B 计算这个口径要分开看:显存按 9B 算,延迟却按 56 层走。循环两遍等于 decode 层数翻倍,吞吐会明显低于同尺寸的普通 32 层模型,端侧部署前最好先把首字延迟和每 Token 时间量出来,榜单分数替代不了这个。
#1 楼

请 登录