⚡ 本地推理配方

English | 简体中文 | 日本語

RTX 4090 相关配置:本地推理速度(tok/s),均有出处

截至 2026-11-14,本数据集中 RTX 4090 有 33 条配方,其中发帖人实测 11 条。单机单流文字最快实测:121 tok/s,模型 Qwen3.8-27B,引擎 DFlash(RTX 4090 24GB;实测;来源)。其中 26 条有日期,从 2026-03-18 到 2026-11-12。

在配方库中筛选这些 →

模型引擎硬件tok/s指标来源等级日期来源
Qwen3.8-Flash-Next-abliterated (SC117)Strata2× RTX 4090 24GB 层切分(450W 上限)+ i9-14900K + 123GB(Linux,团队共用)147Strata v0.2.12(engine 0.1.58,release tag 123bad4)。--max-context 300000(YaRN 1.1444),--kv int8 --kv-resident 32768,--spec 4,2 槽 pipelined。加 --mtp-q4 all 与 4 个精确内核开关后,空闲时单请求 decode 147.0/157.5/160.9,取最低 147.0 作主值。再加 --lookup-chain 3(现用配置)单样本 150.3;--batch-mtp --batch-groups 1 单请求 173.3,但已回退,只作备注。2 请求同时每请求 74.7–87.4,不作单流主值。逐次 runs-*.log 与配置副本在 PR。测于 2026-11-09/10。实测2026-11-10链接
Qwen3.8-27BDFlashRTX 4090 24GB121GSM8K 181;真实提示 146;散文 121;32K 58 / 131K 35 tok/s实测链接
Qwen3.8-Flash-NextSpeedy1× RTX 4090 + Ryzen 9 7950X + 128GB DDR511060K 上下文 decode:Speedy 110.0 / Avalon 102.5 / Strata 75.0;冷预填 Speedy 4,389 / Avalon 2,678;198K 时 Speedy 104.3实测2026-11-01链接
Qwen3.8-Flash-Nextllama.cpp (tandem.cpp fork)1× RTX 4090 24GB + i5-12400F + 64GB DDR497.3GSM8K greedy decode:tandem.cpp 97.3,llama.cpp 29.8,Strata 精确模式 103.6(Strata 默认近似模式 127.1);默认采样 96.1。gpt-oss-120b greedy 51.5(llama.cpp 27.8)。64K 提示处理快 1.4–1.8 倍实测2026-11-01链接
Qwen3.8-Flash-NextStrataRTX 4090 24GB + 64GB DDR5-5800 + i9-14900K(模型在 SATA SSD)87短提示解码 87–98 tok/s;36K 针测 prefill 2,000 / 解码 94;136K 针测 prefill 2,850 / 解码 92;专家缓存命中约 91%;同卡对照 IQ2_XS 140–160、IQ3_S 110–126实测2026-10-18链接
Qwen3.8-Flash-NextStrataRTX 4090 24GB + 128GB 内存80.3Strata Mnemosyne 分支(基于 0.1.48.1,服务端记忆开着,每个提示都带一段前缀),engine 0.1.48,--kv int8 --spec 4 MTP:short chat decode 80.3(73.7–97.9);agent 跟进 97.8;预填 7.3K 2,171 / 16K 2,636实测2026-10-25链接
Qwen3.8-Flash-NextStrataRTX 4090 24GB + RAM(专家 39.97GiB 放内存)78.678.6 tok/s 解码,887 tok/s prefill,~22GB 显存实测2026-09-26链接
Qwen3.8-27Bninfer1× RTX 4090 24GB50.5单请求 greedy,CUDA Graphs:无推测 50.5;MTP3 代码 148.6(接受率 81.0%),语料 106.5(48.7%);128K 深度 39.6。现默认 E8 4bit KV(rk4v4-e8,全 262,144 上下文),decode 约慢 5.7%,预填慢 1–2%实测2026-08-15链接
DeepSeek-V4.1-Flash-1017StrataRTX 4090 Laptop 16GB + i9-13900HX + 94GiB RAM(Gentoo)13.62.25 默认:chat 13.6 / agent 16.0 / 带思考代码 16.2;--experts 6:11.2–13.7;2.00 默认:14.9–17.3。预填 4K / 32K:436 / 800(2.00:463 / 833)。速度很依赖内存实测2026-10-28链接
Qwen-Image 2.1(7B + 8B 文本编码器)ComfyUIRTX 4090 24GB8.1 s / 1024²(40 步);30.2 s / 2048×1152(50 步);峰值 16.2GB实测链接
MiniMax H3(turbo)ComfyUIRTX 40905 s 片段 ~91 s;15 s ~8 分钟;960×544×5s 约 50 s实测链接
Bonsai-8Bllama.cpp (PrismML fork)RTX 4090368368 tok/s 生成;11809 tok/s 读入宣称2026-03-18链接
LFM2.5-24B-A2Bllama.cpp1× RTX 4090 24GB231.9窗口外补录(测于 2026-10-15,由 @llmspeed 窗口内引用:https://x.com/llmspeed/status/2121527998553948452)。llm-speed 签名跑分 r_bqmpv9kncyd,llama.cpp commit a0e6dc7,llama-server,全部层在 GPU,上下文 8K。chat-short decode 231.9 作主值。chat-long 233.4、agent-trace 231.0 另标。显存峰值 14.2 GiB。各卡构建与上下文不同(帖中注明)。llm-speed 签名页按新口径记为宣称。宣称2026-10-15链接
Qwen3.6-35B-A3B-Escha-W2SGLangRTX 4090 24GB225225 tok/s 生成宣称2026-07-22链接
Qwen3.8-Flash-NextStrataRTX 4090 24GB + 32GB DDR5220≈220 tok/s TG;≈3,830 PP(帖文自述;配图为汇总卡片:218 thinking / 223 instruct,68K 提示 4,260 PP,无原始日志)宣称2026-09-30链接
Sage-A1.5llama.cpp1× RTX 4090 24GB216.8窗口外补录(测于 2026-10-22,由 @llmspeed 窗口内引用)。llm-speed 签名跑分 r_-i4k-ieitrk,suite-v1,llama.cpp b11803。chat-short decode 216.8;chat-long 212.0 另标。帖文写 128K 为已配置上限(短提示,不是填满的 128K 窗口)。基线无同组合(llama.cpp × Q4_K_M × 4090 × Sage-A1.5)条目。页 https://llm-speed.com/can-run/sage-a1-5/rtx-4090llm-speed 页面只有汇总与签名,没有原始记录和完整服务设置,记为宣称。宣称2026-10-22链接
Qwen3.8-Flash-NextStrata2× RTX 4090 24GB(PCIe x8/x8,无 NVLink)+ Core Ultra 9 285K + 128GB DDR5-6600200单流解码平均约 200(峰值约 271);4 路平均约 253;prefill 峰值约 6,553;解码专家缓存命中 99.5–99.8%;限定:Strata 0.2.10 起 Auto 默认改用 DFlash2;双卡 decode 可能弱于 MTP 或弱于单卡(Strata #5206 双 4060 Ti 上 DFlash2≈MTP;#5172 双 RX 9070 比单卡慢 10–50%)宣称2026-10-22链接
Recursive Flint 40B-A2.5Bllama.cppRTX 4090 24GB179.4chat-short 解码 179.4(8K 上下文);chat-long 167.2 / 读入 4,992;agent-trace 168.5 / 读入 8,953;同卡 UD-Q3_K_XL 168.0(8K)/ 169.2(16K);同卡同构建 Qwen3.8-27B Q4_K_M 43.41(4.13×)。4090 无 FP4 硬件,NVFP4 只是约 4.5 bit 文件的带宽测速;每配置 1 次宣称2026-10-22链接
Qwen3.6-35B-A3BFreeTokenRTX 4090167167 tok/s;峰值显存 23.55GB转述链接
Qwen3.8-Flash-NextStrata2× RTX 4090(PCIe 8x 封顶)+ ~45GB RAM165Strata v0.2.11:decode 约 165–210;256K 预填约 7,800(相对 0.2.9 大涨)。作者称 PCIe 封在 8x;batch/parallel 两项都明显掉速。tok_s 取区间下限 165宣称2026-11-06链接
Nemotron 3.5 Bolt 74B-A9Bllama.cpp1× RTX 4090 24GB(4K 窗口)107.3llm-speed(llama.cpp)短 prompt:4090@4K 107.3;同帖 5090@32K 157.3(见 x-272)。2026-10-15 llm-speed 签名跑分 r_vkjsinuhlyl(suite-v1,llama.cpp b11669)chat-short decode 107.3,与主值一致;页面只有汇总与签名,没有原始记录和完整服务设置,仍为宣称。https://llm-speed.com/r/r_vkjsinuhlyl宣称2026-11-05链接
Edge0-120Bedge01× RTX 4090 24GB95Edge0 官方模型卡速度表。Q3_K 版 chat decode 95.0 作主值;agent decode 104.9 另标。发布包 model.json 配置 --max-context 131072、--spec 4(MTP)、--kv int8;卡内未写引擎版本,也未写同时处理的请求数。官方数字,无逐次原始数据。官方2026-11-12链接
Ternary Bonsai 2 27Bllama.cpp (PrismML fork)RTX 4090 24GB81.281.2 tok/s 生成;3124 tok/s 读入;PTQ1_0 91.1 tok/s 生成,1645 tok/s 读入宣称2026-09-16链接
Qwen3.8-27Bllama.cpp1× RTX 4090 24GB75.3llama.cpp b12017,draft-mtp n=3:decode 43.1 → 75.3(短提示);预填 440 → 275宣称2026-10-31链接
Edge0-145Bedge01× RTX 4090 24GB69.9Edge0 官方模型卡速度表。Q3_K 版 chat decode 69.9 作主值;agent decode 91.7 另标。发布包 model.json 配置 --max-context 131072、--spec 4(MTP)、--kv int8;卡内未写引擎版本,也未写同时处理的请求数。官方数字,无逐次原始数据。官方2026-11-12链接
Qwen3.8-Flash-Nextllama.cppRTX 4090 / RTX 5090 + 系统内存684090: 25→最高 41;5090: 31→最高 68 tok/s官方链接
Nanbeige4.3-33BSGLangRTX 4090 24GB64.8原版 SGLang 3.9 → 64.8;120K 深度 39;冷启动首 token 224 s;120,267 位置 needle 正确宣称2026-10-29链接
Qwen3.8-Flash-NextStrataRTX 4090 + 64GB RAM6060 tok/s;2,500 PP转述链接
DeepSeek-V4.1-Flash-1017Project MayaRTX 4090 24GB + 192GB RAM44.1decode 44.1;8K 预填 539宣称2026-11-04链接
Qwen3.8-27Bllama.cpp1× RTX 4090 24GB43.4窗口外补录(测于 2026-10-22,由 @llmspeed 窗口内引用)。llm-speed 签名跑分 r_7cap38a021-,suite-v1,llama.cpp b11803。chat-short decode 43.38,主值记 43.4(预填 448.3,TTFT 344 ms,逐 token 延迟 p50 22.9 ms);chat-long 42.90 另标。模型标签 ctx4k,跑分记录未单独写配置的上下文上限,不填。限定:本条不用草稿模型;同机带草稿头的是 x-207(32K,75.3),组合不同。同帖 5090 75.2 = comm-350、3090 38.6 = comm-325,不重复收。llm-speed 页面只有汇总与签名,没有原始记录和完整服务设置,记为宣称。宣称2026-10-22链接
DeepSeek-V4.1-FlashXolotl1× RTX 4090 + 90GB RAM27最高约 27;专家分层放在显存、锁定内存和 NVMe宣称2026-10-31链接
FastH3 V2 / Trim未注明RTX 4090 24GB480p 5s:54.6 / 43.9 s;768p:154.6 / 132.8 s;8GB 限制 Trim 82.0 s官方链接
MiniMax H3 Ref2VA(VSA + Turbo 4 步)ComfyUIRTX 4090 24GB1344×768×5.16s(24 fps / 124 帧):预热墙钟约 72 s(首跑约 95.2 s);峰值显存约 13.5 GB。同机同种子同分辨率对照:原生稠密 50 步约 650 s / ~22.5 GB;Turbo LoRA 稠密 4 步约 190 s / ~21.0 GB;VDN-H3 8 步约 135 s / ~18.5 GB(作者表:首跑相对 VDN ≈2.24×,预热相对原生 ≈9×)官方2026-09-05链接

数字来自各条来源。本项目未复测。各行的模型与设置不同。来源等级:官方 = 项目方或厂商;实测 = 发帖人亲测(引擎或配方作者须公开原始数据和复现步骤);转述 = 二手;宣称 = 预测或无复现细节。