仓库与装卸口
英伟达的新解读把 HBM 比作仓库、把内存带宽比作装卸口：货位再多，进出速度跟不上，多出来的容量就换不成服务能力，这就是内存墙。智能体反复携带历史上下文，部分请求要处理多达 300 万 token，检索增强还会把企业资料塞进提示词，HBM 同时要放权重和 KV 缓存，压力只会更大。换句话说，容量只是账面参数，真正决定服务能力的是数据能否在需要之前到达正确层级。
省在四个层级
- NVFP4 同时压缩权重与 KV 缓存
- NVL72 把权重拆到最多 72 颗 GPU
- Vera CPU 用大容量 LPDDR 就近接下暂停的上下文
- Dynamo 把不活跃上下文搬到 CMX，复用前再取回
RAG 索引留在 CPU 与存储侧，用更小的向量换取更准的检索，不占 HBM。
两种口径
关键数两家都对得上：当单个用户每秒要 125 个 token 时，Vera Rubin 整机的每美元智能体吞吐比上一代 GB300 整机高出最多 30 倍，而每颗 GPU 的 HBM 只多约 3%；降到 100 个 token 时，GB300 对 H200 最多 10 倍。差别在完整度：官方博客补了一句 GB300 对 H200 的 HBM 容量约翻倍，IT之家只留下 3% 这一侧，读起来像容量几乎没动。
原文链接：https://www.ithome.com/1/023/025.htm
来源：IT之家
