239GB 的模型,塞进 46GB 内存
Strata 0.2.4 做了一件反常识的事:让普通电脑跑起 DeepSeek V4.1-Flash。最低配置是 RTX 3060 12GB 显存加 46GB 内存(推荐 64GB),外加至少 239GB 硬盘,最好是高速 NVMe SSD,实测生成速度 8~10 token/s。
原理:热门专家留在内存,冷门专家放 SSD
DeepSeek 采用 MoE 架构,生成每个词只调用其中一部分专家。Strata 用“热门专家缓存”把常用专家常驻内存,其余放在 SSD 上,需要时再读回。于是瓶颈不在显卡,而在内存容量和硬盘读取速度。
三个量化版本
| 版本 | 质量 | 下载大小 |
|---|---|---|
| IQ1_M(1.75-bit) | 压缩最狠,损失最大 | 239GB |
| IQ2_XXS(2.00-bit) | 容量与质量折中 | 257GB |
| IQ2_XS(2.25-bit) | 最接近原版 | 274GB |
据 ISTA-DASLab 测试,最狠的 1.75-bit 版本在数学、知识问答、编程三项基准上平均仍有原版 98.7% 的表现,但超低比特量化仍可能影响语言表达、稳定性和复杂任务。硬盘够大时,274GB 的 IQ2_XS 更稳妥。
速度实测:3060 反超 5070
开发者公布的 IQ2_XXS 数据里,RTX 3060 12GB 加 46GB 内存约 8~10 token/s,RTX 5070 12GB 加 64GB 内存约 5 token/s;单张 AMD Radeon AI PRO R9700 约 11 token/s,四张约 31 token/s,四张再加 DSpark 可达 55~69 token/s。3060 反超 5070 的原因很直接:运行时更依赖 CPU 与 SSD,显卡已不是唯一变量。
能用,但别指望顺手
8~10 token/s 聊天、试模型还行,干别的就慢;原作者认为至少要 40 token/s 才算可用。另外要留意,这次 DeepSeek 支持仅限 Strata 终端版,桌面 GUI 仍是 0.2.3。
原文链接:https://www.appinn.com/strata-0-2-4-deepseek-v4-1-flashterminal-0-2-4-1/
来源:小众软件