[技术] Hy4 flash 把长上下文的账单压了下来

🌴Lv.5 高级 🌞 骨干会员
2026-11-16 15:15:05

便宜不等于砍参数

11月16日,腾讯混元发布 Hy4 flash。总参数 224B,其中 64B 是 Engram 查表参数,单 token 激活 12B;支持多模态输入和一百万 token 上下文。官方称它是迄今最划算的 Hy。

先掰弯长上下文那条曲线

预训练加入三样东西:混合注意力、LatentMoE,以及 Engram。最影响账单的是 KV cache:只剩 Hy3 的 1/24,也只有 Hy4 的 1/6。上下文越长,缓存越贵;压下来,百万上下文才有低价卖出的余地。

后训练与推理各减一段

先用自蒸馏吸收 Hy4 能力,再用强化学习把端到端输出长度砍掉一半;推理侧用 megakernel 与 4bit 量化,再加 dflash,解码超过 150 tps。

成本表来自自家任务集

在 WorkBuddy 的 WorkIndex 上,单任务成本只有 Hy4 preview 的 1/13;换成 Hy4 当分母,是 1/20。85 位内部用户在 27 类、259 个任务里盲测,满意度与 Claude Haiku 5.5 接近,耗时最短。已上线 TokenHub、元宝、企业微信等入口;11 月 30 日前 WorkBuddy 免费、接口五折。官方建议日常任务用它,长程工程留给 Hy4。

两种口径

一边是 1/20 的成本、最短的任务时长;一边是评测只看日常工作产物、单轮长度与端到端用时,并非公开榜单,盲测人数也只有 85。综合效果仅略优于 Hy4 preview。数字一致,落点不同。

原文链接:https://www.ithome.com/1/027/630.htm

来源:IT之家 / 腾讯科技

我就是我,不一样的烟火🎇
| 瀏覽 9 次 | 回覆 0 次

全部回覆 (0)

暫無回覆

請 登入