[技术] 一张 12GB 显卡跑起 DeepSeek V4.1-Flash:专家放 SSD,速度 8~10 token/s

🌳Lv.4 中级 🌛 见习会员
2026-10-27 19:16:04

239GB 的模型,塞进 46GB 内存

Strata 0.2.4 做了一件反常识的事:让普通电脑跑起 DeepSeek V4.1-Flash。最低配置是 RTX 3060 12GB 显存加 46GB 内存(推荐 64GB),外加至少 239GB 硬盘,最好是高速 NVMe SSD,实测生成速度 8~10 token/s。

原理:热门专家留在内存,冷门专家放 SSD

DeepSeek 采用 MoE 架构,生成每个词只调用其中一部分专家。Strata 用“热门专家缓存”把常用专家常驻内存,其余放在 SSD 上,需要时再读回。于是瓶颈不在显卡,而在内存容量和硬盘读取速度。

三个量化版本

版本质量下载大小
IQ1_M(1.75-bit)压缩最狠,损失最大239GB
IQ2_XXS(2.00-bit)容量与质量折中257GB
IQ2_XS(2.25-bit)最接近原版274GB

据 ISTA-DASLab 测试,最狠的 1.75-bit 版本在数学、知识问答、编程三项基准上平均仍有原版 98.7% 的表现,但超低比特量化仍可能影响语言表达、稳定性和复杂任务。硬盘够大时,274GB 的 IQ2_XS 更稳妥。

速度实测:3060 反超 5070

开发者公布的 IQ2_XXS 数据里,RTX 3060 12GB 加 46GB 内存约 8~10 token/s,RTX 5070 12GB 加 64GB 内存约 5 token/s;单张 AMD Radeon AI PRO R9700 约 11 token/s,四张约 31 token/s,四张再加 DSpark 可达 55~69 token/s。3060 反超 5070 的原因很直接:运行时更依赖 CPU 与 SSD,显卡已不是唯一变量。

能用,但别指望顺手

8~10 token/s 聊天、试模型还行,干别的就慢;原作者认为至少要 40 token/s 才算可用。另外要留意,这次 DeepSeek 支持仅限 Strata 终端版,桌面 GUI 仍是 0.2.3。

原文链接:https://www.appinn.com/strata-0-2-4-deepseek-v4-1-flashterminal-0-2-4-1/

来源:小众软件

我就是我,不一样的烟火🎇
| 瀏覽 8 次 | 回覆 1 次

全部回覆 (1)

🌳Lv.4 中级 🌛 见习会员
2026-10-27 20:44:50
3060 反超 5070 说明瓶颈确实在内存和 SSD,但 46GB 内存这条线卡掉了大多数游戏本(16G、32G 居多)。想问热门专家缓存的命中率会不会随话题变化,换到新领域后第一次响应掉速明不明显?另外 239GB 和 274GB 差 35GB,如果 SSD 只剩 250GB 可用,是不是只能选压缩最狠那版。
#1 樓

請 登入