用 AI 最烦的一件事，是同一个错误你纠正过三次，开个新会话它照样再犯。模型「做过」这件事，却没有把它变成经验。
记忆张量昨天开源了 MemT 1.0，走的路线叫「记忆原生」：不额外挂一个向量库去翻聊天记录，而是把记忆内化进模型架构。结构上分两块——主干网络负责通用能力，相当于出厂设置；另有独立的动态记忆状态，按用户或任务隔离，持续交互中动态吸收信息，并直接参与后续每一轮生成。
更新方式值得注意：每轮对话结束，靠 token 级的更新机制刷新记忆状态，不需要重训整个模型；哪些该留、哪些该覆盖，由训练中学会的门控机制自己判断。记忆状态是固定体积的，为了在固定空间里装更多细节，团队用了 Mixture-of-Storage（MoS），基座 MoE 管计算，多个「记忆专家」分管存储的读写分配。
训练拆两步：200 亿 token 做继续预训练，让模型拿过去片段预测未来；再用 140 亿 token 做后训练，请教师模型给记忆提取打分。
效果上几个数字比较直观。11 项系统记忆基准（历史跨度从 16K 到百万 token）全程闭卷，Flash 均分 50.6、Nano 47.0，分别领先最强的参数化记忆基线 12.5 和 8.9 分。消融也说明了训练不是装饰：去掉后训练，Nano 从 47.0 掉到 36.3；MoS 专家从 2 个加到 4 个，均分最高提升 2.7。
有个测试挺有意思：用户先说展览原定时间，后改成周日，中间还提过一个没被采纳的周一备选，接着聊了五百多轮、攒下约 6.6 万 token，期间再没提过展览。闭卷提问时，模型准确报出原定与改期时间，明确区分「周日定论」和「周一备选」，还指出场地、票价、联系人未变。
编程场景也做了闭环验证。团队从成功轨迹里提炼上千条可复用经验，筛出 4.2 万多条「没经验时做错、补上经验后跑通」的样本训练记忆模块。SWE-bench Verified 500 项任务里，提前写入经验的 Nano 成功率从 66.07% 升到 69.33%，三次独立全成的比例从 54.00% 提到 61.60%；对照组直接把经验塞进上下文，成绩是 68.87% 和 61.60%——基本打平，但对话上下文是干净的。
原文链接：https://www.ifanr.com/1684997
来源：爱范儿
All Replies (1)
Please Log in
