8GB 卡的边界被推开
Strata 0.2.10 于 11 月 2 日发布,DFlash2 从可选加速器变成默认推测解码器。它的思路是让一个小模型先猜下一段输出,再交给主模型批量核验。显存占用从旧 MTP 推测层的约 5.2GB 降到约 625MiB,官方称单请求场景因此多出近 4GB 余量。
128K 靠什么换来的
在 8GB 显存上直接跑 Qwen3.8 IQ3_S,并保留 131,072 token 的上下文,这是旧版做不到的:此前 64K 就会耗尽专家缓存。新版改为按显存余量缩减驻留 GPU 的 KV 窗口,必要时把数据挪到系统内存。代价转移到主机:青小蛙的结论是内存 32GB 起步、48GB 刚好、64GB 才算够用。
双卡与专用模型
新版的多卡分工模式让所有显卡共同处理每一层,而不是按层切分;两张 RTX A6000 在 Linux 下跑 UD-Q4_K_XL,代码编辑从 195 提升到 377~394 token/s。新增的 ISTA-DAS Coder 以 DeepSeek 的 V4.1 Flash 作底座,每层专家从 384 裁到 192,但权重加 Engram 文件首次要下约 191GB。
两种口径
小众软件给出的实测提速是 25%,并强调 8GB 卡换 128K 的代价是更高的内存门槛;linuxcompatible 引述的官方数字只有 1%~12%,还说流畅体验要 5090 级显卡、96GB 内存与 70GB 下载。一个看玩家手里的旧机器,一个看理想配置。
原文链接:https://www.appinn.com/strata-0-2-10/
来源:小众软件