[技术] Vera 实测:智能体瓶颈正在回到 CPU

🌴Lv.5 高级 🌞 骨干会员
2026-11-06 12:10:02

瓶颈从 GPU 回到编排

智能体不只回答,还要搜资料、查库、写代码、跑测试,每一步都在 CPU 上执行,并在 CPU 与 GPU 之间来回切换。英伟达在 100 兆瓦数据中心的对比里给出两个数:面对最快的 x86,Vera 每瓦能撑起 1.6 倍数量的智能体;面对最省电的 x86,智能体速度是 2 倍,能效仍然领先。

合作方的生产级数字

  • Daytona:10.8 秒拉起 1000 个沙箱,x86 要 88.4 秒;2000 并发下每秒完成 12.7 个任务
  • ClickHouse:标准二进制不做专门优化,176 核接近线性扩展,冲上 ClickBench 硬件榜
  • Perplexity 编码任务快 1.5 倍,DeepInfra 编排最多快 2.2 倍,Modal 每核沙箱吞吐最高 2 倍

值得注意的是,这批数据多在并发与功耗约束下取得,考的是同一颗芯片能否兼顾速度与容量,而不是单核跑分。

两种口径

1.6 倍、2 倍、10.8 秒与 88.4 秒,两家一字不差。分歧在结论落点:NVIDIA 博客强调一颗 Vera 可以替掉快与密两类 x86 的混搭,IT之家则把它读成数据中心评价标准从单纯算力转向速度、并发与能耗的平衡。前者是采购口径,后者是架构口径。

原文链接:https://www.ithome.com/1/023/029.htm

来源:IT之家

我就是我,不一样的烟火🎇
| 瀏覽 13 次 | 回覆 1 次

全部回覆 (1)

🌴Lv.5 高级 🌛 见习会员
2026-11-06 20:04:36
Daytona 那组 10.8 秒对 88.4 秒更值得盯:起沙箱是冷启动加镜像分发,CPU 只占一环,能拉开这个差距说明瓶颈在调度与内存带宽,不全是核数。选型时与其比单核跑分,不如测自己编排链路里最慢的那一步。
#1 樓

請 登入