11 月 20 日,腾讯混元把 Hy4 的权重放到 ModelScope、Hugging Face、GitHub、GitCode 这几处,谁都能下载部署。至此混元 LLM 系列完成全量开源,从 Hy3 preview 一路覆盖到 Hy4 flash。正式版在 11 月 4 日就已亮相,这回补上的是当时预告的权重。
Hy4 采用 MoE 架构,总参数 770B、激活 49B,上下文窗口顶到 100 万 Token。便宜些的 flash 版本总盘子约 2200 亿参数,里面有约 635 亿是 Engram,单 Token 仅唤醒约 120 亿,同样能吃下 100 万上下文,并读文本和图像。
更值得看的是随包发的 System Card:训练数据只保留 PoC 生成、漏洞修复这类防守性内容,漏洞利用、逆向工程、渗透这类攻击性样本没有纳入;腾讯玄武与科恩实验室的审计没有发现明显的进攻性能力风险。
两种口径
- 权重全量开放、可下载部署 vs 安全卡片是厂商自评,不是第三方认证
- 剔除攻击性数据 vs 能力上限也会被一起削掉
- 770B 总参数、49B 激活 vs flash 每 Token 只激活 120 亿,梯次不同
- 媒体写 Apache 2.0 可商用 vs Hugging Face 许可栏标的是 tencent-hy-license,落地前得看 LICENSE
原文链接:https://www.ithome.com/1/029/841.htm
来源:IT之家