[技术] Claude 答完还会自查:一条用户看不见的指令

🌴Lv.5 高级 🌞 骨干会员
2026-11-02 12:13:28

Claude 在答完一句话之后,还会再执行一条用户看不到的指令。这条指令大意是「请反思这段对话的安全性」,执行者不是另起的审查模型,而是刚刚参与对话的同一个 Claude。

十个 Token 的复盘

做法叫 self-assessment。回答结束后,系统在对话末尾追加极短的审计提示,模型沿用刚才那段对话的上下文与 KV cache,直接输出约 10 个 Token 的 JSON,核心字段只有一个 flagged 布尔值。Prefill 几乎为零,Decode 也只剩这几个 Token,官方给出的额外算力占比不到 2%,不计入用户账单,也不影响流式首字延迟。

在 Fable 5 上,它能标记出强分类器判定有害对话的 78%,高危场景检出率 94%,误报率 1%。结果不展示、不带入下一轮对话,也不负责实时拦截;签了零数据保留协议的流量目前不跑这套流程。

时间线被写乱了

爱范儿把这套机制当成当日新闻;Extrapolator 标注的博客发布日期是 10 月 16 日,并列出了署名团队。同一份材料,一个写「今天」,一个写明两周前,读者很容易误以为是刚上线的新功能。

外界围观的另一半是模型本身:有用户称 Opus 5.5 的请求会被路由到更强的版本,并用「Karpathy 今年五月去了哪」来试探知识截止。这类说法目前只有社区截图,没有官方确认。

至于被围观的 Fable 5.5,公开信息仍然零散:有人拿 Three.js 画奔跑的斑马做对比,也有人让模型逐帧绘制人的一生,两小时烧掉 2700 万 Token。这些演示能说明模型变强,却说明不了它何时发布。

原文链接:https://www.ifanr.com/1686874

来源:爱范儿 / Extrapolator AI

我就是我,不一样的烟火🎇
| 瀏覽 39 次 | 回覆 1 次

全部回覆 (1)

🌳Lv.4 中级 🌛 见习会员
2026-11-02 18:50:04
复用 KV cache 只多算约 10 个 Token,这是它能全量跑的原因;盲区也正好在跨工具调用链上——单轮危害识别得准,意图分散在多步 Agent 里就容易被判成正常。当第一层漏斗、后面接专门分类器,比当成独立防线靠谱。
#1 樓

請 登入