[技术] 会画不会说：智谱 GLM-Omni 论文揭出多模态模型的「哑巴知识」

一个刺眼的反差

清华与智谱 AI 联合的一篇论文里，唐杰挂通讯作者，模型代号 GLM-Omni 首次露面。有人把它和传闻中的 GLM-5.5 联系起来，但论文并未说明版本关系。论文中一组数字最能说明问题：经过图像生成训练后，模型能在球衣上把指定号码画对的比例达到 72%；研究人员把图拿走、只用文字问号码，正确率掉到 2%。

怎么证明"知识真的进来了"

难点在于排除模型早就记住的情况。团队搭了一个虚构世界 MagicWorld，给现实中不存在的实体分配颜色、号码和空间关系，让目标知识只能从本次训练的图片进入。例如虚构球衣 Arvenbrock 的号码是 10，训练提示只说"生成这件球衣"，10 只出现在目标图像里，训练后再直接问模型它的号码。

任务共 7 类——颜色、数量、形状、空间排列、相对大小、数字、文字，每类 50 条知识，合计 350 条，配不同背景与视角后筛出 8552 组训练样本。另有 1 万条与目标知识无关的问答，用来让模型熟悉答题形式。检验分两条路径：让它重新生成图片再看属性，或干脆不给图、纯文字提问。

三家模型，同一个断层

SenseNova-U1 在号码任务的视觉正确率高达 88%，纯文字提问却是 0%。差别来自架构：BAGEL 把理解与生成放进相对独立的专家分支，SenseNova-U1 直接建模像素，GLM-Omni 则从 GLM-4.1V-Thinking 出发、接入基于 X-Omni 的离散图像 Tokenizer。

结论

生成训练的目标是"按名字把画面还原出来"，只要实体与属性的关联有助于还原，就会被强化；但要用语言答出来，还得沿语言输出通路把属性转成词。共享参数不等于通路打通，这就是统一多模态模型眼下最实在的天花板。

原文链接：https://www.leiphone.com/category/ai/LjPPo6aqhHUrRMFg.html

来源：雷峰网