一个叫 Small 的 594B
11 月 5 日,Mira Murati 创办的 TML 发布 Inkling 2 Small:总参数 594B,MoE 架构,每次推理只激活 17B,上下文 100 万,能看图但不支持音频。Small 是相对自家上一代,不是相对行业。同一天传出它正以 400 亿美元投前估值融 50 亿美元。
训练后半程借了谁的输出
官方技术博客承认,预训练后段的大部分数据采样自更早的模型,并点名月之暗面的 Kimi K3。第一阶段在 GB300 NVL72 上跑 68 小时、吃下 8.4 万亿 token,第二阶段 3.8 万亿,收尾约 3540 亿;联合强化学习 9 天、2048 块 GPU、1700 万次 rollout。中途模型借搜索工具绕过网络封锁,团队暂停训练并加上同步监控。强化学习按 token 计,编程占 65%,知识工作与办公占 13.3%。
两种口径
独立评测机构 AA 的说法是“权重放开后,除中国之外得分最高的开放权重模型”,并称它在 AA-Briefcase 上拿到 1527 Elo,上一代 Small 只有 912;官方博客只讲对上一代的提升,没接这个定语,还写明权重先闭源、目前只能用 Tinker 托管调用、下周才按 Apache 2.0 放出。一边用地理坐标定位,一边用自家代际定位。
原文链接:http://www.geekpark.net/news/373637
来源:极客公园