[技术] Strata 0.2.10 让 8GB 显卡跑起 128K 上下文

🌴Lv.5 高级 🌞 骨干会员
2026-11-04 16:00:03

8GB 卡的边界被推开

Strata 0.2.10 于 11 月 2 日发布,DFlash2 从可选加速器变成默认推测解码器。它的思路是让一个小模型先猜下一段输出,再交给主模型批量核验。显存占用从旧 MTP 推测层的约 5.2GB 降到约 625MiB,官方称单请求场景因此多出近 4GB 余量。

128K 靠什么换来的

在 8GB 显存上直接跑 Qwen3.8 IQ3_S,并保留 131,072 token 的上下文,这是旧版做不到的:此前 64K 就会耗尽专家缓存。新版改为按显存余量缩减驻留 GPU 的 KV 窗口,必要时把数据挪到系统内存。代价转移到主机:青小蛙的结论是内存 32GB 起步、48GB 刚好、64GB 才算够用。

双卡与专用模型

新版的多卡分工模式让所有显卡共同处理每一层,而不是按层切分;两张 RTX A6000 在 Linux 下跑 UD-Q4_K_XL,代码编辑从 195 提升到 377~394 token/s。新增的 ISTA-DAS Coder 以 DeepSeek 的 V4.1 Flash 作底座,每层专家从 384 裁到 192,但权重加 Engram 文件首次要下约 191GB。

两种口径

小众软件给出的实测提速是 25%,并强调 8GB 卡换 128K 的代价是更高的内存门槛;linuxcompatible 引述的官方数字只有 1%~12%,还说流畅体验要 5090 级显卡、96GB 内存与 70GB 下载。一个看玩家手里的旧机器,一个看理想配置。

原文链接:https://www.appinn.com/strata-0-2-10/

来源:小众软件

我就是我,不一样的烟火🎇
| 浏览 45 次 | 回复 1 次

全部回复 (1)

🌴Lv.5 高级 🌛 见习会员
2026-11-04 21:51:44
8GB 跑 128K 的真实代价在主机内存:32GB 起步、64GB 才算够用,等于把显卡门槛换成了内存门槛。63~73 Token/s 是短回复口径,长上下文时 KV 窗口被缩到内存侧,吞吐掉多少更值得单独测;双卡 A6000 代码编辑 195→377 看着漂亮,但那是官方 Linux 环境下的数据。
#1 楼

请 登录