Strata 显卡实测汇总

数据抓取 2026-11-11 · 全部来自官方文档与 bench/results 原始报告 · 单位 tok/s

一句话：显存比算力更决定速度——每多 1 GB 显存约多装 700 个专家，装得下的就不用 CPU 算。模型权重体积（Q2_0 约 37.6 GB 内存+显存）是硬门槛，显存不够靠内存顶、内存不够靠 SSD，速度逐级腰斩。

NVIDIA · 主流消费卡（Qwen3.8-Flash-Next）

显卡	显存	量化/环境	4K 解码	4K 提示	32K 解码	128K 解码
RTX 5090 Core Ultra 9 285K / 64G	32G	IQ2_XS · 131K	179.4	4,270	175.7	165.0
RTX 5070 Ryzen 5 7600 / 64G · 0.1.26	12G	Q2_0	93.0	1,299	81.8	73.7
同上	12G	IQ3_S	53.3	913	48.3	45.5
RTX 5060 Ti E5-2680v4 / 64G · Win10	16G	Coder IQ1_M	47.5	1,180	51.0	49.1
同上	16G	Q2_0	68.0	782	73.4	68.5
RTX 4070 i5-12600KF / 32G DDR4 · 自建引擎	12G	IQ2_XS	48.2 28.9K 提示	—	—	—
RTX 3060 i7-12700 / 64G · 0.1.41	12G	Q2_0	42.9	882	41.8	38.6
RTX 3090 官方估算 ±20%，非实测	24G	Q2_0	~140	~491	~130	~100

5090 是唯一在 128K 仍保住 165 tok/s 的卡；3060 的 260K 长上下文也只掉到 37.4。IQ3_XXS/IQ3_S 在 12G 卡上会掉到 25–30（专家大量回 CPU 算）。

AMD · 独显（gfx1201 / gfx1100）

显卡	显存	量化	4K 解码	4K 提示	16K 解码	备注
Radeon AI PRO R9700	32G	Coder IQ1_M	45.5	982	48.3	0.1.30，12,288 专家槽全在卡上
RX 9070 XT	16G	Coder IQ1_M	30.8	782	35.4	4,931 槽
RX 9070	16G	IQ3_XXS	58.7	586	57.9	Win HIP 0.1.41；33.5K 提示 804
RX 9060 XT	16G	Coder IQ1_M	27.1	540	—	加 hipBLASLt 表提示 540→597（1.5×）
RX 7900 XTX	24G	IQ3_XXS	55.5	447	—	8.8K 提示 874–966；优化后 59.2 解码
RX 7800 XT	16G	Coder IQ1_M	38–44	898–953	—	社区实测
RX 7600 XT	16G	Swift IQ3_XXS	~43	250–300	—	146 请求到 51K

R9700 在 0.2.7 把 --pcie-frac 默认从 0.55 改到 0.15：IQ3_S 下 8K 解码 86.1→94.6、32K 67.2→84.4（+25.6%），提示速度不变。n-gram 表放内存（PLE）再给 8K 提示 +22.5%（2,045→2,506）。

AMD · 集显 / 统一内存

平台	内存	量化	提示	解码	备注
Strix Halo（8060S，70W 笔记本）	128G	UD-IQ4_XS	969 / 1,067 / 1,031 8K/32K/131K	59.2 / 57.8 / 42.0	推测解码 `--spec 5`，针 15/15
Radeon 780M（iGPU）	共享	Q2_0	109.5 → 233 开矩阵核开关 +111%	16.6 → 17–19	4K 提示；部分固件会 GPU reset

Intel Arc

显卡	显存	量化	解码	提示	备注
2× Arc Pro B65	64G	IQ3_S	71–83	1,261 / 1,511 / 1,628	4K/8K/16K，全部专家在显存
Arc Pro B70	32G	Coder IQ1_M	70–78	~790	256K 上下文
Arc Pro B70	32G	IQ3_S（只装 11.5k 专家）	30–41	980–1,000	装不下时掉一半
2× Arc Pro B60	48G	Coder IQ1_M	56.6	428	PCIe 3.0 x8/卡，8K 上下文
单张 Arc Pro B60	24G	Coder IQ1_M	11.9	—	4,042/12,288 专家镜像在内存
Arc Pro B50	16G	Coder / IQ2_XS	~23 / 25–27	—	到 128K
Arc B580	12G	IQ2_XS / Coder	~21 / ~15	—	WSL2，出现过 device loss
Arc A750	8G	IQ3_XXS	10–19	—	Alchemist，最弱一档

多卡 / 专业卡 / 老卡

平台	量化	4K 解码	4K 提示	128K 解码	备注
2× TITAN RTX 24G（sm75）	IQ3_S	70.9	869	71.1	NVLink 引擎不用；128K 提示 1,627
2× Tesla P40 24G（sm61）	IQ3_S	35.0	350	—	21.9K 提示 558；针 6/6
单张 P40 24G（sm61 内核优化）	IQ3_S	37–38	255	—	优化前 205；`DENSE_F32` 让 7K 提示到 464–474
Tesla V100 32G（sm70）	UD-IQ4_XS	28.2–28.6	—	—	开 sm70 解码核 +9.8%/+15% → 30.9/32.9，输出逐字节一致
2× Quadro RTX 4000 8G	IQ2_XS	18–23	100–250	—	提示 73–74K 长上下文
Radeon Pro VII 16G（gfx906）	IQ2_XS	24.2	350	23.7	128K 提示 284
2× MI50 16G（gfx906）	Coder IQ1_M	—	—	—	131K 层切分，源码自建（#638/639/640）

DeepSeek V4.1-Flash（552B MoE / 49B 激活）

平台	8K 提示	解码	备注
4× Radeon AI PRO R9700	360 32K：557	~31 DSpark 55–69	实测最好一档
Strix Halo 128G 统一内存（Win）	78 8K：109	14–16 代码 / 10–11 聊天	多数专家从 NVMe 读
RTX 5070 12G	231	~5	6 核 CPU，DSpark 无收益
RTX 3060 12G	~103	6–9 DSpark 8.2–8.7	慢 SSD 全线掉速

硬门槛：显卡 ≥12G、内存 ≥46G（64G 才舒服）、NVMe、磁盘 239–274 GB（2.00bpw 257G）；上下文只有 8K。RTX 30/40/50 系 + Linux/Windows 可跑；AMD 只有 R9700（Linux）实测；RX 9070 有包未跑；Mac 需 M5 Max 128G。

选型要点

先看总量不看卡：Q2_0 需 37.6 GB（内存+显存）、IQ2_XS 39.2、IQ3_XXS 47、IQ3_S 54.8。64G 内存全放得下，48G 只够 Q2_0/IQ2_XS，32G 只能上 Coder（29.6 GB）。
显存优先：每 GB 约 700 个专家；装不下的专家由 CPU 算，速度按比例掉（3060 上 IQ3_XXS 只有 25 tok/s，Q2_0 有 43）。
N 卡最省心：30/40/50 系官方支持，5070 12G 已能跑 93 tok/s；5090 在长上下文仍 165。
A 卡看卡型：R9700/7900 是官方维护级；9060XT 以下靠社区包 + hipBLASLt 表（提示能翻 1.5–2 倍）。
Arc 只在 Linux 值得：两张 B65/B70 能到 71–83 tok/s，单张 12G 级只有 15–21。
老卡靠 opt-in 内核：V100 开 sm70 表 +10~15%，P40 换 sm61 内核 34→38，都是零精度损失（逐字节一致）。

来源：仓库 Niko1221/Strata（MIT）docs/ 与 bench/results/ 原始报告，抓取于 2026-11-11。数字均为引擎自报的 prompt/decode 吞吐，配置、量化、上下文不同不可直接横向比；标注「估算」的来自官方 DETAILS.md 推算（±20%）。DeepSeek 一节来自 docs/MODELS.md 与 DEEPSEEK41.md。