RTX 4090 相关配置:本地推理速度(tok/s),均有出处
截至 2026-11-14,本数据集中 RTX 4090 有 33 条配方,其中发帖人实测 11 条。单机单流文字最快实测:121 tok/s,模型 Qwen3.8-27B,引擎 DFlash(RTX 4090 24GB;实测;来源)。其中 26 条有日期,从 2026-03-18 到 2026-11-12。
| 模型 | 引擎 | 硬件 | tok/s | 指标 | 来源等级 | 日期 | 来源 |
|---|---|---|---|---|---|---|---|
| Qwen3.8-Flash-Next-abliterated (SC117) | Strata | 2× RTX 4090 24GB 层切分(450W 上限)+ i9-14900K + 123GB(Linux,团队共用) | 147 | Strata v0.2.12(engine 0.1.58,release tag 123bad4)。--max-context 300000(YaRN 1.1444),--kv int8 --kv-resident 32768,--spec 4,2 槽 pipelined。加 --mtp-q4 all 与 4 个精确内核开关后,空闲时单请求 decode 147.0/157.5/160.9,取最低 147.0 作主值。再加 --lookup-chain 3(现用配置)单样本 150.3;--batch-mtp --batch-groups 1 单请求 173.3,但已回退,只作备注。2 请求同时每请求 74.7–87.4,不作单流主值。逐次 runs-*.log 与配置副本在 PR。测于 2026-11-09/10。 | 实测 | 2026-11-10 | 链接 |
| Qwen3.8-27B | DFlash | RTX 4090 24GB | 121 | GSM8K 181;真实提示 146;散文 121;32K 58 / 131K 35 tok/s | 实测 | 链接 | |
| Qwen3.8-Flash-Next | Speedy | 1× RTX 4090 + Ryzen 9 7950X + 128GB DDR5 | 110 | 60K 上下文 decode:Speedy 110.0 / Avalon 102.5 / Strata 75.0;冷预填 Speedy 4,389 / Avalon 2,678;198K 时 Speedy 104.3 | 实测 | 2026-11-01 | 链接 |
| Qwen3.8-Flash-Next | llama.cpp (tandem.cpp fork) | 1× RTX 4090 24GB + i5-12400F + 64GB DDR4 | 97.3 | GSM8K greedy decode:tandem.cpp 97.3,llama.cpp 29.8,Strata 精确模式 103.6(Strata 默认近似模式 127.1);默认采样 96.1。gpt-oss-120b greedy 51.5(llama.cpp 27.8)。64K 提示处理快 1.4–1.8 倍 | 实测 | 2026-11-01 | 链接 |
| Qwen3.8-Flash-Next | Strata | RTX 4090 24GB + 64GB DDR5-5800 + i9-14900K(模型在 SATA SSD) | 87 | 短提示解码 87–98 tok/s;36K 针测 prefill 2,000 / 解码 94;136K 针测 prefill 2,850 / 解码 92;专家缓存命中约 91%;同卡对照 IQ2_XS 140–160、IQ3_S 110–126 | 实测 | 2026-10-18 | 链接 |
| Qwen3.8-Flash-Next | Strata | RTX 4090 24GB + 128GB 内存 | 80.3 | Strata Mnemosyne 分支(基于 0.1.48.1,服务端记忆开着,每个提示都带一段前缀),engine 0.1.48,--kv int8 --spec 4 MTP:short chat decode 80.3(73.7–97.9);agent 跟进 97.8;预填 7.3K 2,171 / 16K 2,636 | 实测 | 2026-10-25 | 链接 |
| Qwen3.8-Flash-Next | Strata | RTX 4090 24GB + RAM(专家 39.97GiB 放内存) | 78.6 | 78.6 tok/s 解码,887 tok/s prefill,~22GB 显存 | 实测 | 2026-09-26 | 链接 |
| Qwen3.8-27B | ninfer | 1× RTX 4090 24GB | 50.5 | 单请求 greedy,CUDA Graphs:无推测 50.5;MTP3 代码 148.6(接受率 81.0%),语料 106.5(48.7%);128K 深度 39.6。现默认 E8 4bit KV(rk4v4-e8,全 262,144 上下文),decode 约慢 5.7%,预填慢 1–2% | 实测 | 2026-08-15 | 链接 |
| DeepSeek-V4.1-Flash-1017 | Strata | RTX 4090 Laptop 16GB + i9-13900HX + 94GiB RAM(Gentoo) | 13.6 | 2.25 默认:chat 13.6 / agent 16.0 / 带思考代码 16.2;--experts 6:11.2–13.7;2.00 默认:14.9–17.3。预填 4K / 32K:436 / 800(2.00:463 / 833)。速度很依赖内存 | 实测 | 2026-10-28 | 链接 |
| Qwen-Image 2.1(7B + 8B 文本编码器) | ComfyUI | RTX 4090 24GB | 8.1 s / 1024²(40 步);30.2 s / 2048×1152(50 步);峰值 16.2GB | 实测 | 链接 | ||
| MiniMax H3(turbo) | ComfyUI | RTX 4090 | 5 s 片段 ~91 s;15 s ~8 分钟;960×544×5s 约 50 s | 实测 | 链接 | ||
| Bonsai-8B | llama.cpp (PrismML fork) | RTX 4090 | 368 | 368 tok/s 生成;11809 tok/s 读入 | 宣称 | 2026-03-18 | 链接 |
| LFM2.5-24B-A2B | llama.cpp | 1× RTX 4090 24GB | 231.9 | 窗口外补录(测于 2026-10-15,由 @llmspeed 窗口内引用:https://x.com/llmspeed/status/2121527998553948452)。llm-speed 签名跑分 r_bqmpv9kncyd,llama.cpp commit a0e6dc7,llama-server,全部层在 GPU,上下文 8K。chat-short decode 231.9 作主值。chat-long 233.4、agent-trace 231.0 另标。显存峰值 14.2 GiB。各卡构建与上下文不同(帖中注明)。llm-speed 签名页按新口径记为宣称。 | 宣称 | 2026-10-15 | 链接 |
| Qwen3.6-35B-A3B-Escha-W2 | SGLang | RTX 4090 24GB | 225 | 225 tok/s 生成 | 宣称 | 2026-07-22 | 链接 |
| Qwen3.8-Flash-Next | Strata | RTX 4090 24GB + 32GB DDR5 | 220 | ≈220 tok/s TG;≈3,830 PP(帖文自述;配图为汇总卡片:218 thinking / 223 instruct,68K 提示 4,260 PP,无原始日志) | 宣称 | 2026-09-30 | 链接 |
| Sage-A1.5 | llama.cpp | 1× RTX 4090 24GB | 216.8 | 窗口外补录(测于 2026-10-22,由 @llmspeed 窗口内引用)。llm-speed 签名跑分 r_-i4k-ieitrk,suite-v1,llama.cpp b11803。chat-short decode 216.8;chat-long 212.0 另标。帖文写 128K 为已配置上限(短提示,不是填满的 128K 窗口)。基线无同组合(llama.cpp × Q4_K_M × 4090 × Sage-A1.5)条目。页 https://llm-speed.com/can-run/sage-a1-5/rtx-4090llm-speed 页面只有汇总与签名,没有原始记录和完整服务设置,记为宣称。 | 宣称 | 2026-10-22 | 链接 |
| Qwen3.8-Flash-Next | Strata | 2× RTX 4090 24GB(PCIe x8/x8,无 NVLink)+ Core Ultra 9 285K + 128GB DDR5-6600 | 200 | 单流解码平均约 200(峰值约 271);4 路平均约 253;prefill 峰值约 6,553;解码专家缓存命中 99.5–99.8%;限定:Strata 0.2.10 起 Auto 默认改用 DFlash2;双卡 decode 可能弱于 MTP 或弱于单卡(Strata #5206 双 4060 Ti 上 DFlash2≈MTP;#5172 双 RX 9070 比单卡慢 10–50%) | 宣称 | 2026-10-22 | 链接 |
| Recursive Flint 40B-A2.5B | llama.cpp | RTX 4090 24GB | 179.4 | chat-short 解码 179.4(8K 上下文);chat-long 167.2 / 读入 4,992;agent-trace 168.5 / 读入 8,953;同卡 UD-Q3_K_XL 168.0(8K)/ 169.2(16K);同卡同构建 Qwen3.8-27B Q4_K_M 43.41(4.13×)。4090 无 FP4 硬件,NVFP4 只是约 4.5 bit 文件的带宽测速;每配置 1 次 | 宣称 | 2026-10-22 | 链接 |
| Qwen3.6-35B-A3B | FreeToken | RTX 4090 | 167 | 167 tok/s;峰值显存 23.55GB | 转述 | 链接 | |
| Qwen3.8-Flash-Next | Strata | 2× RTX 4090(PCIe 8x 封顶)+ ~45GB RAM | 165 | Strata v0.2.11:decode 约 165–210;256K 预填约 7,800(相对 0.2.9 大涨)。作者称 PCIe 封在 8x;batch/parallel 两项都明显掉速。tok_s 取区间下限 165 | 宣称 | 2026-11-06 | 链接 |
| Nemotron 3.5 Bolt 74B-A9B | llama.cpp | 1× RTX 4090 24GB(4K 窗口) | 107.3 | llm-speed(llama.cpp)短 prompt:4090@4K 107.3;同帖 5090@32K 157.3(见 x-272)。2026-10-15 llm-speed 签名跑分 r_vkjsinuhlyl(suite-v1,llama.cpp b11669)chat-short decode 107.3,与主值一致;页面只有汇总与签名,没有原始记录和完整服务设置,仍为宣称。https://llm-speed.com/r/r_vkjsinuhlyl | 宣称 | 2026-11-05 | 链接 |
| Edge0-120B | edge0 | 1× RTX 4090 24GB | 95 | Edge0 官方模型卡速度表。Q3_K 版 chat decode 95.0 作主值;agent decode 104.9 另标。发布包 model.json 配置 --max-context 131072、--spec 4(MTP)、--kv int8;卡内未写引擎版本,也未写同时处理的请求数。官方数字,无逐次原始数据。 | 官方 | 2026-11-12 | 链接 |
| Ternary Bonsai 2 27B | llama.cpp (PrismML fork) | RTX 4090 24GB | 81.2 | 81.2 tok/s 生成;3124 tok/s 读入;PTQ1_0 91.1 tok/s 生成,1645 tok/s 读入 | 宣称 | 2026-09-16 | 链接 |
| Qwen3.8-27B | llama.cpp | 1× RTX 4090 24GB | 75.3 | llama.cpp b12017,draft-mtp n=3:decode 43.1 → 75.3(短提示);预填 440 → 275 | 宣称 | 2026-10-31 | 链接 |
| Edge0-145B | edge0 | 1× RTX 4090 24GB | 69.9 | Edge0 官方模型卡速度表。Q3_K 版 chat decode 69.9 作主值;agent decode 91.7 另标。发布包 model.json 配置 --max-context 131072、--spec 4(MTP)、--kv int8;卡内未写引擎版本,也未写同时处理的请求数。官方数字,无逐次原始数据。 | 官方 | 2026-11-12 | 链接 |
| Qwen3.8-Flash-Next | llama.cpp | RTX 4090 / RTX 5090 + 系统内存 | 68 | 4090: 25→最高 41;5090: 31→最高 68 tok/s | 官方 | 链接 | |
| Nanbeige4.3-33B | SGLang | RTX 4090 24GB | 64.8 | 原版 SGLang 3.9 → 64.8;120K 深度 39;冷启动首 token 224 s;120,267 位置 needle 正确 | 宣称 | 2026-10-29 | 链接 |
| Qwen3.8-Flash-Next | Strata | RTX 4090 + 64GB RAM | 60 | 60 tok/s;2,500 PP | 转述 | 链接 | |
| DeepSeek-V4.1-Flash-1017 | Project Maya | RTX 4090 24GB + 192GB RAM | 44.1 | decode 44.1;8K 预填 539 | 宣称 | 2026-11-04 | 链接 |
| Qwen3.8-27B | llama.cpp | 1× RTX 4090 24GB | 43.4 | 窗口外补录(测于 2026-10-22,由 @llmspeed 窗口内引用)。llm-speed 签名跑分 r_7cap38a021-,suite-v1,llama.cpp b11803。chat-short decode 43.38,主值记 43.4(预填 448.3,TTFT 344 ms,逐 token 延迟 p50 22.9 ms);chat-long 42.90 另标。模型标签 ctx4k,跑分记录未单独写配置的上下文上限,不填。限定:本条不用草稿模型;同机带草稿头的是 x-207(32K,75.3),组合不同。同帖 5090 75.2 = comm-350、3090 38.6 = comm-325,不重复收。llm-speed 页面只有汇总与签名,没有原始记录和完整服务设置,记为宣称。 | 宣称 | 2026-10-22 | 链接 |
| DeepSeek-V4.1-Flash | Xolotl | 1× RTX 4090 + 90GB RAM | 27 | 最高约 27;专家分层放在显存、锁定内存和 NVMe | 宣称 | 2026-10-31 | 链接 |
| FastH3 V2 / Trim | 未注明 | RTX 4090 24GB | 480p 5s:54.6 / 43.9 s;768p:154.6 / 132.8 s;8GB 限制 Trim 82.0 s | 官方 | 链接 | ||
| MiniMax H3 Ref2VA(VSA + Turbo 4 步) | ComfyUI | RTX 4090 24GB | 1344×768×5.16s(24 fps / 124 帧):预热墙钟约 72 s(首跑约 95.2 s);峰值显存约 13.5 GB。同机同种子同分辨率对照:原生稠密 50 步约 650 s / ~22.5 GB;Turbo LoRA 稠密 4 步约 190 s / ~21.0 GB;VDN-H3 8 步约 135 s / ~18.5 GB(作者表:首跑相对 VDN ≈2.24×,预热相对原生 ≈9×) | 官方 | 2026-09-05 | 链接 |
数字来自各条来源。本项目未复测。各行的模型与设置不同。来源等级:官方 = 项目方或厂商;实测 = 发帖人亲测(引擎或配方作者须公开原始数据和复现步骤);转述 = 二手;宣称 = 预测或无复现细节。