RTX 5090 相关配置:本地推理速度(tok/s),均有出处
截至 2026-11-14,本数据集中 RTX 5090 有 106 条配方,其中发帖人实测 60 条。单机单流文字最快实测:538.1 tok/s,模型 Qwen3.8-27B,引擎 TensorFold(1× RTX 5090;实测;2026-10-26;来源)。其中 85 条有日期,从 2026-07-22 到 2026-11-14。
| 模型 | 引擎 | 硬件 | tok/s | 指标 | 来源等级 | 日期 | 来源 |
|---|---|---|---|---|---|---|---|
| Qwen3.8-27B | TensorFold | 1× RTX 5090 | 538.1 | 新启动服务的 harness 解码:prose 278.3,code 538.1(含 DFlash2 草稿),structured 352.6;100K 冷提示后解码 222–225 | 实测 | 2026-10-26 | 链接 |
| Qwen3.8-Flash-Next | Basalt | 1× RTX 5090 32GB + 59GB RAM | 500.4 | Basalt v0.3.0(帖文所链仓库 toolcall/basalt93 写明版本,非按发帖时最新发行推断)。测于 2026-11-07。MTP 草稿 9 次干净跑、各 700 token:decode 500.4 作主值;无草稿 259.0 另标。同权 llama.cpp 对照 98.3 / 89.1。上下文设置未写,不填。预登记规则与公开树在 github.com/notwitcheer/llm-bench-rig/tree/main/toolcall/basalt93。 | 实测 | 2026-11-07 | 链接 |
| Qwen3.8-Flash-Next | QEngine | 2× RTX 5090 32GB + Threadripper PRO 3975WX + 251GB RAM | 370 | club-3090 bench.sh:decode 叙述 / 代码 370 / 439(KV 在显存),FLASH_KV=ram 为 406 / 504;预填 10K 约 5.7K,90K 约 7.3K。同机 Strata IQ3_S 214 / 293。8 个 64K 流每流 124(RAM KV)对 139(显存 KV) | 实测 | 2026-10-31 | 链接 |
| LFM2.5-24B-A2B | llama.cpp | RTX 5090 32GB | 351.5 | 351.5 tok/s;数学题 1.98 s;GSM8K 97%,MMLU 80%;同 GGUF 同 llama.cpp build;写作速度 5 次中位 | 实测 | 2026-10-15 | 链接 |
| NVIDIA Nemotron 3.5 Bolt 74B-A9B | llama.cpp | RTX 5090 32GB(Ubuntu,driver 570) | 343 | 单流 5 提示×3 次中位(512 token,temp 0):草稿开 343(303–354,接受率 55%)/ 关 166;64K 窗口 342 / 166;f16 KV 313;显存 25.0 GiB(开)/ 22.7 GiB(关);llama-bench pp512 5,166 / tg128 172 | 实测 | 2026-10-20 | 链接 |
| Qwen3.8-Flash-Next | Strata | RTX 5090 + Ryzen 9 9950X(Windows) | 270.7 | Q2_0 short 270.7,4K 258.0,16K 220.4;IQ3_S short 219.5,4K 195.0,16K 208.9;sanity 12/12 | 实测 | 2026-10-26 | 链接 |
| Qwen3.8-27B | TensorFold | 1× RTX 5090 32GB | 268.2 | TensorFold 1.1.2(BobClawblaw 分支 q35-prompt-int8 @18d93451),FP8 KV:decode code 268.2 / prose 238.7;32K TTFT 7.7s;262K 上下文占 27.3GiB。配方只开 1 个 stream,8 请求总量 204.6。同卡对照:NInfer MTP3 169.0、Mia EXL3 4.0bpw 154.5;2026-11-01 用 TensorFold 1.2.0 复测:代码 268.6 / 散文 248.6,32K 预填 3,954(比 1.1.2 低 5.5–7.7%),8 请求总量 211.8(x.com/niklaslenz_ai/status/2116829349278359748) | 实测 | 2026-10-25 | 链接 |
| Nemotron 3.5 Bolt 74B-A9B | TensorFold | 1× RTX 5090 32GB | 265.5 | Mia 配方:decode 散文 265.5 / 代码 219.8;500 词约 2.8 秒;128K 首 token 18.7 秒。2 个 slot(不是 Mia 的 16 个),无视觉。2 次中位数,512 token,思考关 | 实测 | 2026-11-03 | 链接 |
| Qwen3.8-Flash-Next | Basalt | RTX 5090 32GB + Core Ultra 9 285K + 247GB DDR5 | 242 | 16K 时 decode:basalt 242 / capy-flash 198 / ninfer-ext 92;128K 时 basalt 216;prefill basalt 8.3–9.2K | 实测 | 2026-10-23 | 链接 |
| Qwen3.8-Flash-Next | Strata | 1× RTX 5090 32GB(PCIe Gen3 x16,卡上有其他任务共用)+ 两颗 Xeon Gold 5218(无 AVX-512) | 231.5 | Strata 官方 Docker 0.2.13(engine 0.1.59),配置 262,144,1 槽。strata bench run standard-v1 两次,均完整,sanity 12/12。第一次(专家缓存 3,090 槽)short decode 231.5 作主值;4K 242.7,16K 214.4;读入 4K/16K 2,373/5,148。第二次(同卡其他任务退出后 14,570 槽)short 242.5,作者称在 3 次中位的波动内。1 小时连续请求(非标准协议)4,025 次全部成功,decode 262–266,只作备注。同机旧结果:engine 0.1.47(Docker 0.2.2-cuda13)、1M 上下文、--kv q4_0、--kv-resident 16384 时单请求 decode 82.5,再空出 5.5GB 时 93.8(https://github.com/Niko1221/Strata/issues/5852,无原始日志,宣称)。双路 Xeon 无机架证据,按工作站收录。outputs.jsonl 与 results.json 在 PR。 | 实测 | 2026-11-13 | 链接 |
| Qwen3.8-Flash-Next | Strata | RTX 5090 32GB + 121GB DDR5 | 227 | Strata 0.2.10 主值 227(聊天 decode;同帖对比旧版聊天 152 → 227,+49%,首 token 0.27 → 0.17 秒;x.com/lyesbahi/status/2117545259358196187)。历史:Strata 0.2.3(engine 0.1.48)单流 240,2 用户每人 115;测法与 0.2.10 聊天 decode 不同,不可直接比;作者称此卡无提速(2026-10-21 旧帖为不同测法:解码 185,峰值 225,专家缓存命中 98.5%,9K 提示约 1.4 秒,x.com/lyesbahi/status/2112809633261969621);来源帖 x.com/lyesbahi/status/2113602136051458520 | 实测 | 2026-11-03 | 链接 |
| Recursive Flint 40B-A2.5B | llama.cpp | 1× RTX 5090 32GB | 224.8 | llama.cpp b11803:代码 224.8,散文 224.9;32K 提示首 token 5.7 秒;1/2/8 个同时请求的合计 193.9 / 198.6 / 198.5(只开 1 个 slot)。Flint 不理会关闭思考的参数。同卡对照:NInfer Qwen3.8-27B 169.0 | 实测 | 2026-11-01 | 链接 |
| MiniCPM-V 4.7 35B-A3B | llama.cpp | RTX 5090 | 208 | 短上下文解码 ~208 tok/s;258K:解码 127、prefill 3.6K tok/s、TTFT 72 s(新鲜提示,3 次中位);DSpark 草稿在 llama.cpp 上各长度都更慢 | 实测 | 2026-10-15 | 链接 |
| Qwen3.8-Flash-Next | Strata | RTX 5090 32GB + 系统内存(部分卸载) | 204 | Strata+MTP 204 tok/s(无 MTP 122);写同一城市页 28.8 s;prefill 中位 4K ~3,790 / 32K ~5,230 tok/s;15 项质量检查全过,27 次重复仅 1 次文本一致(tok_s 为单一写作任务速度,帖子未分散文/代码) | 实测 | 2026-10-14 | 链接 |
| Qwen3.8-Flash-Next | Strata | RTX 5090 32GB(限 450W)+ Ryzen 7 9800X3D + 60.5GB DDR5 | 202.1 | bench.sh --long 中位:聊天解码 202.1 / agent 解码 223.8 tok/s;prefill 4K/16K/32K = 4,473 / 6,656 / 6,827 tok/s | 实测 | 2026-10-13 | 链接 |
| Qwen3.8-27B | VoidInfer | RTX 5090 32GB | 193 | 1 请求、1,024 输出 token、每档 3 次:VoidInfer 3K 193 / 32K 177 / 97K 146 / 200K 127;NInfer 219 / 197 / 176 / 153。NInfer 预填约快 2–2.5 倍 | 实测 | 2026-10-28 | 链接 |
| Qwen3.8-Flash-Next | Strata | RTX 5090 32GB + RTX 4070 Ti SUPER 16GB(芯片组 PCIe x1)+ i7-14700K + 32GB 内存 | 186.3 | strata_bench short chat 186.3(153.7–254.8);prefill 4K 2,446 / 16K 3,917;Strata v0.2.1 + ExTV 5 个补丁 | 实测 | 2026-10-23 | 链接 |
| Qwen3.8-Flash-Next | Strata | RTX 5090 32GB + Core Ultra 7 265K + 128GB 内存(Windows 11) | 176.3 | Strata 0.1.48.1 @7ddc17a3,engine 0.1.48,--spec 4 --mtp rt --kv int8,strata_bench suite 1:short chat decode 176.3(142.3–221.4,9 次中位数);agent 跟进 188.7;预填 4K 4,723 / 16K 6,442。2026-11-13 samykoka 同组合复测(RTX 5090 + Ryzen 9 7950X + 63.1GiB,Windows 11,Strata project 0.1.58 / engine 0.1.59,配置 262,144,strata_bench suite 1):short chat decode 173.6(151.9–208.4,9 次),agent 跟进 222.9。与主值差 1.5%,属常规复测,不改主值;issue 未附 results.json。https://github.com/Niko1221/Strata/issues/5906 | 实测 | 2026-10-25 | 链接 |
| Qwen3.8-Flash-Next | Strata | RTX 5090 + 256GB RAM | 176 | 176 tok/s 解码;64K 时 162;5,247 tok/s prefill | 实测 | 2026-09-30 | 链接 |
| MiniCPM-V 4.7 35B-A3B | llama.cpp | RTX 5090 笔记本 | 176 | Q4_K_M:176 tok/s;配 DSpark 草稿代码 272 tok/s(视频字幕核实)。帖文另说 Hermes Agent 回读磁盘工具截图那一次为 171 tok/s(单次任务,非总体速度) | 实测 | 2026-10-15 | 链接 |
| Qwen3.8-27B | TensorFold | RTX 5090 32GB | 174 | 代码 370 | 散文 174 | 结构化 634 tok/s;32K 提示首 token 12.4 s;5 提示×3 轮交错,450 W / 2200 MHz 上限;各用自家 4-bit 格式与草稿(比较的是 recipe 不是量化) | 实测 | 2026-10-13 | 链接 |
| Qwen3.8-27B + Tencent DSpine K11 | NInfer | 1× RTX 5090 32GB(Windows 11) | 160.1 | NInfer Windows v1.2.5-dspine.1(fba899b,headpiece747 移植)。移植作者 release 表:英语散文单流、2,048 输出 160.1(256 输出 147.7);Python 单流 2,048 为 515.0,代码另标。8 流英语 多路合计 684.4,不作单流主值。同表 DFlash2 K9 英语 2,048 为 183.0(散文上 DSpine 约慢 12%)。作者 X 帖 “1-stream replay” 英语 179.5 为另一口径,不取作主值。上下文 8,192。公开夹具与测法。 | 实测 | 2026-11-09 | 链接 |
| Qwen3.8-27B | Qwentin | 1× RTX 5090 | 158.3 | code 158.3,prose 139.2(greedy);聚合(另计)8 请求 332.2 | 实测 | 2026-10-26 | 链接 |
| Qwen3.8-Flash-Next | Strata | 1× RTX 5090 | 157.8 | 188K 深度:Strata 解码 157.8,FreeToken 55.0;预填 7,290 vs 6,903(3 次中位,512 输出,temp 0) | 实测 | 2026-10-25 | 链接 |
| Qwen3.6-35B-A3B | llama.cpp | RTX 5090 笔记本 | 157 | Q4:157 tok/s(与 x-063 同卡同任务) | 实测 | 2026-10-15 | 链接 |
| Qwen3.8-Flash-Next | Strata | RTX 5090 32GB(600W)+ 128GB DDR5-6000 + Core Ultra 7 270K Plus(Windows 11) | 153.3 | 原生中位(每上下文 3 次,256 输出,greedy,零复用):4K 153.3 / 32K 155.1 / 128K 143.1 tok/s;同机同日 Infernix Dense8 133.6 / 144.0 / 147.2(comm-046) | 实测 | 2026-10-18 | 链接 |
| Qwen3.8-Flash-Next Uncensored | Infernix | RTX 5090 32GB + 189.6GB RAM + 9950X(Windows) | 149 | 262K:解码 149.0 / 冷 prefill 3,548;512K(YaRN 2):137.0 / 3,497 tok/s(3 次中位) | 实测 | 2026-10-10 | 链接 |
| Qwen3.8-27B-NVFP4-MTP | llama.cpp | RTX 5090 32GB + Ryzen 7 9800X3D + 64GB RAM(Windows) | 148.3 | LOW + MTP(--spec-draft-n-max 4,KV q8_0,192K):9 个提示平均 148.3 tok/s,峰值 203,MTP 接受率 49.0%,显存 25.0 GiB;VERY-HIGH(BF16 head)+ MTP 平均 111.9 tok/s(峰值 139) | 实测 | 2026-08-14 | 链接 |
| Qwen3.8-27B | vLLM | RTX 5090 32GB | 147 | 147 tok/s 解码(mia-ai.net 列约 160) | 实测 | 2026-08-15 | 链接 |
| MiniCPM-V 4.7 35B-A3B | vLLM | RTX 5090 | 143 | 短上下文解码 ~143 tok/s;258K:解码 112、prefill 5.9K tok/s、TTFT 43 s;DSpark 草稿 4K 时 224 tok/s,约 16K 起反而更慢,192K 仅 8 tok/s(新鲜提示,3 次中位;装草稿后单张 5090 只放得下 192K) | 实测 | 2026-10-15 | 链接 |
| Qwen3.8-Flash-Next | Infernix | RTX 5090 32GB(600W)+ 128GB DDR5-6000 + Core Ultra 7 270K Plus(Windows 11) | 133.6 | 原生中位(每上下文 3 次,256 输出,greedy,零复用):4K 133.6 / 32K 144.0 / 128K 147.2 tok/s;首字比 Strata NVFP4 早 0.4–0.9 s(comm-045) | 实测 | 2026-10-18 | 链接 |
| ThinkingCap 27B (BottleCap AI / Kearuga) | ExLlama | 1× RTX 5090 32GB | 131.8 | Mia one-click kit @bbb11db + ExLlamaV3 1.6.0,DRAFT=mtp。测于 2026-11-10。prose decode 2 次中位 131.8 作主值;code 140.2 另标。配置 262,144,测到 131,072。8 请求合计 120.7,不作单流主值。量化卡注明 MTP 质量不在其文本资格范围内,本页也不对 MTP 做资格认定。方法、命令与原始文件在配方页。窗内帖 https://x.com/niklaslenz_ai/status/2120626368757047667 | 实测 | 2026-11-10 | 链接 |
| Qwen3.8-Flash-Next | Strata | RTX 5090 | 123.4 | 123.4 tok/s 实时;完整跑 115+ | 实测 | 链接 | |
| Qwen3.8-Flash-Next Uncensored | Strata | RTX 5090 32GB + 189.6GB RAM + 9950X(Windows) | 120.6 | 262K:解码 120.6 / 冷 prefill 1,550;512K(YaRN 2):126.3 / 3,045 tok/s(3 次中位) | 实测 | 2026-10-10 | 链接 |
| Gemma 4 31B | NInferno | RTX 5090 Laptop GPU(5090M 24GB) | 118.4 | 短对话 decode(greedy/sampled):Fast 118.4 / 114.0,Max-context 106.8 / 99.7,起点 33.2;预填 8K 4,154,约 130K 约 1,600 | 实测 | 2026-10-29 | 链接 |
| Nanbeige4.3-33B | ExLlama | 1× RTX 5090 32GB + Ryzen 9 9950X3D + 约 128GB RAM(桌面运行) | 116.92 | 快速预设(8,192 容量,FP16 KV):输出 116.92,预填 3,130,首 token 926 ms(2,842 输入 / 2,048 输出,3 次中位,temp 0,思考关);最大上下文预设(180,224,Q4 KV):115.14;179,705 token 输入时 23.41,首 token 167.4 秒。temp 0.6 的五提示三种子套件:中位 103.40。tok_s 取快速预设 | 实测 | 2026-10-27 | 链接 |
| Qwen3.8-27B | llama.cpp | RTX 5090 32GB | 116 | 代码 186 | 散文 116 | 结构化 200 tok/s;32K 提示首 token 12.5 s;5 提示×3 轮交错,450 W / 2200 MHz 上限;各用自家 4-bit 格式与草稿(比较的是 recipe 不是量化) | 实测 | 2026-10-13 | 链接 |
| Qwen3.8-27B | ExLlama | RTX 5090 32GB | 114 | 代码 258 | 散文 114 | 结构化 366 tok/s;32K 提示首 token 10.4 s;5 提示×3 轮交错,450 W / 2200 MHz 上限;各用自家 4-bit 格式与草稿(比较的是 recipe 不是量化) | 实测 | 2026-10-13 | 链接 |
| Qwen3.8-Flash-Next | llama.cpp | RTX 5090 32GB + 系统内存(部分卸载) | 68 | 68 tok/s(无草稿模型);同提示 104.2 s;prefill 中位 4K ~1,270 / 32K ~1,355 tok/s;27 次重复 27 次一致(同 x-050 任务) | 实测 | 2026-10-14 | 链接 |
| Qwen3.8-27B-SLQ-EAR98 | vLLM | 1× RTX 5090 | 67.2 | code 67.2,prose 67.1;聚合(另计)8 请求 351.8;上下文 74,752 | 实测 | 2026-10-26 | 链接 |
| DeepSeek-V4.1-Flash-1017 | Strata | RTX 5090 + 128GB DDR5 + i9-13900KF(Windows 11) | 40.66 | Strata Terminal 0.2.4.1:3 次 34.57 / 40.66 / 42.57,中位数 40.66(高于同类配置的其他报告,但 3 次一致且附截图,可信) | 实测 | 2026-10-24 | 链接 |
| DeepSeek-V4.1-Flash-1017 | Strata | Threadripper 3960X + RTX 5090 + RTX 3080 Ti + 192GB DDR4(Windows) | 38 | 6 轮编程对话平均约 38(37.4–38.7),热身后最高 42.4;打补丁前约 26–30;原版默认 19.4,只调设置 29.1;预填最高 772.1 | 实测 | 2026-10-30 | 链接 |
| DeepSeek-V4.1-Flash-1017 | Strata | 1× RTX 5090 32GB + Xeon Gold 6330 + 384GB RAM | 37 | strata-dsv41 0.1.55:decode 中位约 37(32–42,含 100K–180K 提示);139K 冷提示预填 1,612 | 实测 | 2026-11-01 | 链接 |
| DeepSeek-V4.1-Flash-1017 | Strata | 1× RTX 5090 32GB | 35 | Strata 0.2.10 主值 35(散文 decode 35–38,取下限);历史:长生成平均约 50–51(2.2K token 测试,256K 上下文);预填 1,350。数字取自帖文,截图未核;Strata 0.2.10(2026-11-03):散文 decode 35–38,复制/agent 68;10–36K 预填 890–2,264(x.com/lyesbahi/status/2117672208592220602) | 实测 | 2026-11-03 | 链接 |
| DeepSeek-V4.1-Flash | Strata (Strata-DS fork) | RTX 5090 Laptop 24GB + Ryzen 9 9955HX3D + 64GB RAM + 2TB NVMe | 31.2 | 冷启动短提示 30.0–32.0(5 次中位;代码提示 31.2);服务运行后 API 33.2–39.3;连续 30 分钟 37.6;4K/32K/128K/256K 提示解码 26.1/25.6/25.2/24.4,读入 244/844/904/752 tok/s;跳过开 HumanEval+ 90.2%(关 91.5%),GSM8K 98.0%(关 97.5%) | 实测 | 2026-10-16 | 链接 |
| MiniMax-M3.1-Flash | Project Maya | RTX 5090 32GB + 92GiB RAM | 24 | Maya 1.1.50 默认安装,512 token 2 次中位,思考关:decode 24.0(代码 24.4 / 散文 23.6);249K prompt 时 18.7。首 token 16K 36.6 s,128K 465.8 s | 实测 | 2026-11-03 | 链接 |
| GLM-5.3-Flash-Maya-S (321B) | 未注明 | 1× RTX 5090 + 64GB DDR5 | 18 | 32K prompt 预填 1,749(作者说 M5 Ultra 为 1,107);decode 约 18–25(作者说 512GB M5 Ultra 为 31–41) | 实测 | 2026-10-30 | 链接 |
| DeepSeek-V4.1-Flash-1017 | Strata | RTX 5090 D v2 24GB + 128GB DDR5-4800 + i7-14700KF(Windows 10) | 8.6 | Strata 0.2.4(DSV4.1 engine 0.1.49)默认设置(--dspark auto):256 token 流式,decode 短提示 8.6 / 1.3K 7.9 / 4.9K 10.2,tok_s 取短提示;4.9K 预填 240;RAM 存储只长到约 50GiB,作者怀疑没跑满 | 实测 | 2026-10-24 | 链接 |
| Qwen-Image 2.1 | TensorFold | RTX 5090 @450W | 4.53 s / 6.94 s / 13.87 s(1024²,25 步;NVFP4 峰值 22.9GB;图像与 Q6 不完全一致) | 实测 | 链接 | ||
| Qwen-Image 2.1 | 未注明 | RTX 5090 32GB(功耗上限 455W) | Qwen-Image 2.1 基础模型,int8,25 步,1MP:每张 5.2 s(最近 200 张的中位数),约 687 张/小时;功耗 399 W(nvidia-smi 60 s 平均);能耗 0.58 Wh/张 | 实测 | 2026-10-11 | 链接 | |
| Qwen-Image-2.1-Turbo(官方 8 步) | 未注明 | RTX 5090 | 29 s vs 108 s / 张(2048²) | 实测 | 链接 | ||
| Z-Image Turbo vs Qwen-Image 2.1 | 未注明 | RTX 5090 | Z-Image 快约 2×(无绝对时间);质量 Qwen 9:6 胜 | 实测 | 链接 | ||
| Qwen3.8-27B | SGLang | RTX 5090 / 1× DGX Spark | 206 tok/s / 38 tok/s | 实测 | 链接 | ||
| Qwen3.6-35B-A3B | 未注明 | RTX 5090 | 无草稿 275.5 → 312.4(最佳 318.3) | 实测 | 链接 | ||
| Qwen3.8-27B | oMLX | Mac Studio M5 Ultra 256GB / M3 Ultra 512GB / RTX 5090 | 6K 提示:48 / 31 / 59 tok/s;PP 1,701 / 414 / 3,031;256K:24.3 / 15.0 / 30.0(5090 需 8-bit KV) | 实测 | 链接 | ||
| MiniMax H3(基础,50 步类) | ComfyUI | RTX 5090 | 1280×736×5s:242 s → 168 s | 实测 | 链接 | ||
| MiniMax H3 vs FastH3 Turbo | 未注明 | RTX 5090 | 15 s 片段:11 分 55 秒 vs 2 分 6 秒 | 实测 | 链接 | ||
| LTX-2.3(带口型同步) | ComfyUI | RTX 5090 | 10 s 约 90 s(较弱 GPU 约 6×) | 实测 | 链接 | ||
| LTX-2.5(t2v) | 未注明 | RTX 5090(500W) | 720p/10 s:61.11 s;1080p/10 s:189.90 s | 实测 | 链接 | ||
| MiniMax H3 | ComfyUI | 笔记本 RTX 5090 24GB + 64GB RAM | 3 段 5s 衔接片段共 17 分钟 | 实测 | 2026-09-22 | 链接 | |
| Qwen3.6-35B-A3B | SGLang | 1× RTX 5090 | 626 | sglang-elsa(作者 fork,MTP + FR-Spec,思考关):C=1 626(同卡原版 SGLang 0.5.22 无 MTP 310、vLLM 267);聚合(另计)C=4 1,343 / C=8 1,956 | 官方 | 2026-10-24 | 链接 |
| Qwen3.6-35B-A3B | sparkinfer | RTX 5090 | 512 | 512 tok/s(称比 llama.cpp 快 86%) | 宣称 | 链接 | |
| Qwen3.8-Flash-Next | Basalt | 1× RTX 5090(限 400W)+ 128GB RAM | 354 | 7 引擎横评(贪心、思考关、int8 KV、每请求冷启动、单次):短上下文 Struct/Conv/Prose:Basalt 354/188/180,Infernix 349/170/163,capy-flash 292/165/152,Strata 204/146/123,llama.cpp 39(未开 MTP);200K 深度 Basalt 160;100K 预填 Basalt 8,666。tok_s 取 Basalt Struct。利益相关:发帖人是 Basalt 开发者 | 官方 | 2026-10-24 | 链接 |
| gpt-oss-20b | llama.cpp | RTX 5090 32GB(主机 EPYC 7543 + 945GB RAM,CLI 报告) | 324.2 | chat-short 解码 324.2 tok/s;prefill 586.8(166-token 提示);TTFT 282.9 ms(suite-v1,batch=1;同 run chat-long prefill 12,638) | 宣称 | 2026-10-17 | 链接 |
| LFM2.5-24B-A2B | llama.cpp | 1× RTX 5090 32GB | 308.5 | 窗口外补录(测于 2026-10-15,由 @llmspeed 窗口内引用:https://x.com/llmspeed/status/2121527998553948452)。llm-speed 签名跑分 r_c8k6fleym09,llama.cpp commit a0e6dc7,llama-server,全部层在 GPU,上下文 8K。chat-short decode 308.5 作主值。chat-long 300.4 另标。显存峰值 14.4 GiB。他人 5090 行见 x-057。各卡构建与上下文不同(帖中注明)。llm-speed 签名页按新口径记为宣称。 | 宣称 | 2026-10-15 | 链接 |
| Qwen3-Coder-30B-A3B-Instruct | llama.cpp | RTX 5090 32GB(主机 EPYC 7543 + 945GB RAM,CLI 报告) | 304.9 | chat-short 解码 304.9 tok/s;prefill 514.5(110-token 提示);TTFT 213.8 ms(suite-v1,batch=1;同 run chat-long prefill 8,353) | 宣称 | 2026-10-17 | 链接 |
| Qwen3.8-Flash-Next | Basalt | RTX 5090 32GB + RTX 5060 Ti 16GB + 128GB RAM | 300 | Basalt 0.2.0:散文约 300,结构化约 600,预填约 10K。NVFP4-DQ8 对 BF16 的 KLD 0.0561 | 宣称 | 2026-11-03 | 链接 |
| Qwen3.6-35B-A3B-Escha-W2 | SGLang | RTX 5090 32GB | 283 | 283 tok/s 生成 | 宣称 | 2026-07-22 | 链接 |
| Qwen3.8-27B | Foundry Local | 1× RTX 5090 32GB | 266 | 微软博文官方对比图(RTX 5090):Foundry Local 生成速度 4K 265.82 / 16K 260.19 / 32K 234.26 / 65K 200.41 / 131K 212.36 / 260K 187.16;同设定 llama.cpp 150.60 / 164.45 / 151.73 / 146.91 / 109.68 / 96.11。数字从官方配图读取,非社区转述。微软自家 vs llama.cpp,非第三方复现。tok_s 取 4K 的 266(四舍五入) | 官方 | 2026-11-05 | 链接 |
| Qwen3.8-27B | TensorFold | 1× RTX 5090 32GB | 188.1 | TensorFold 1.2.7(stock)。prose decode(default window)188.1 作主值;code 195.2 另标。正文只写 default window,配置的上下文上限未写,不填。帖文在「8 requests at once, 4 streams」处截断,不补未读全的多路数字。无原始日志,降为宣称。窗内 TensorFold 1.2.7 首个第一手 5090 数字。 | 宣称 | 2026-11-12 | 链接 |
| Qwen3.8-Flash-Next | Strata | 1× RTX 5090 D 32GB | 187.2 | 262K 窗口占满 99.2%:4 路服务中单路独占 187.2;聚合(另计)4 路 314.0,8 路 405.5 | 宣称 | 2026-11-01 | 链接 |
| Qwen3.8-Flash-Next | Basalt | 1× RTX 5090 32GB(PCIe 5.0 x16,功耗上限 95%)+ i9-14900K + 160GB DDR5(4 条,5200 MT/s)+ RAID0 NVMe(Windows) | 170 | Basalt commit d10ccd4bc2,community-1 预设,NVFP4,int8 KV。表中 tg prose 170(接受率 65.1%)作主值;tg conv 172,tg struct 387(结构化输出,不作主值)。community-1 冷测 decode 297.7(9,480 token 用 31.8 s)口径不同,另标。预填 16K / 64K 为 5,727 / 7,487。帖附 community-row JSON(单行汇总,不是逐次数据)。上下文与同时处理的请求数未写。记为宣称。同组合他人行见 comm-072、comm-086。 | 宣称 | 2026-11-14 | 链接 |
| Qwen3.8-27B | vLLM | 2× RTX 5090(P2P 驱动) | 160 | 160 tok/s(评论,无更多细节) | 宣称 | 2026-10-15 | 链接 |
| Qwen3.8-Flash-Next | Strata | RTX 5090 32GB(PCIe 5.0 x8)单卡引擎 + Ryzen 9 9950X + 96GB DDR5-6000(同机另有两张 RTX 3090 各跑一个引擎,三引擎共享约 50GB 内存专家区) | 160 | Strata 自建 v0.2.12 + PR #3341 + #5203(engine 0.1.58.2),control 0.1.58 + #3565。三个引擎共享内存专家区(--shared-expert-arena,约 50GB),--ple-io direct。本行为 5090 引擎:512K(YaRN ×2,KV q4_0),--batch 2 --batch-mtp,7 核。greedy 短提示,单独运行 decode 160–205,取下限 160;三引擎同时忙时 139–186。线上 15.5K 次请求 decode 中位 164(p90 192)。全机 4 流 合计 371–392,不作单流主值。无原始日志,记为宣称。3090 引擎见 comm-394。 | 宣称 | 2026-11-13 | 链接 |
| Qwen3.8-Flash-Next | Strata | RTX 5090(RAM 未注明) | 160 | 160 tok/s(同卡 llama.cpp 15 tok/s) | 转述 | 链接 | |
| Nemotron 3.5 Bolt 74B-A9B | llama.cpp | 1× RTX 5090 32GB(32K 窗口) | 157.3 | llm-speed(llama.cpp)短 prompt:5090@32K 157.3。同作者 TensorFold 配方见 x-229(265.5)。同套件 4K 签名跑分 r_z-l1yelv_67,chat-short decode 154.7,只作备注;本行主值仍是原帖 32K 157.3,仍为宣称。https://llm-speed.com/r/r_z-l1yelv_67 | 宣称 | 2026-11-05 | 链接 |
| Qwen3.8-Flash-Next | Strata (TCP layer split fork) | 2 台 PC,各 1× RTX 5090(每台 14GB RAM,TCP layer split) | 155 | Strata fork 通过 TCP 跨两台机器做 layer split,专家全部在显存:约 155。同帖 Qwen3.8-27B AWQ 单 5090 vLLM 约 145 | 宣称 | 2026-11-03 | 链接 |
| Qwen3.8-Flash-Next | Strata | RTX 5090 + 64GB RAM | 151 | Strata 0.1.43.1:--resident-budget 解码 151 tok/s vs --resident-experts 139(后者 prefill 快 1.6×) | 宣称 | 2026-10-14 | 链接 |
| Qwen3.8-Flash-Next | Strata | RTX 5090(功耗限制)+ 96GB DDR5-6400 | 150 | 150–200 tok/s 解码;5–6K 读入 | 转述 | 链接 | |
| Qwen3.8-Flash-Next-Gyro | Strata | RTX 5090 32GB | 140 | 140.0 tok/s 生成;4883.0 tok/s 读入 | 宣称 | 2026-09-30 | 链接 |
| Edge0-120B | edge0 | 1× RTX 5090 D 24GB | 130.2 | Edge0 官方模型卡速度表。Q3_K 版 chat decode 130.2 作主值;agent decode 144.6 另标。同机 NVFP4 版 chat 124.9 / agent 135.5(https://huggingface.co/Edge0/Edge0-120B-NVFP4),只作备注。同卡用 --vram-reserve-mib 8192 与 cgroup 20G 限成 16GiB VRAM + 20GiB RAM 时 Q3_K chat 62.4 / agent 73.3,NVFP4 chat 51.3(模拟预算,不另列)。发布包 model.json 配置 --max-context 131072、--spec 4(MTP)、--kv int8;卡内未写引擎版本,也未写同时处理的请求数。官方数字,无逐次原始数据。 | 官方 | 2026-11-12 | 链接 |
| Ternary Bonsai 2 27B | llama.cpp (PrismML fork) | RTX 5090 32GB | 129.9 | 129.9 tok/s 生成;3893 tok/s 读入;PTQ1_0 120.5 tok/s 生成,1805 tok/s 读入 | 宣称 | 2026-09-16 | 链接 |
| Qwen3.8-Flash-Next | 未注明 | RTX 5090 + 192GB RAM | 120 | 约 120 tok/s;冷 prefill 3,000–6,000(评论,数字较粗) | 宣称 | 2026-10-14 | 链接 |
| Qwen3.8-27B | llama.cpp | RTX 5090 32GB | 119 | 119.0 tok/s 生成。同卡其他档:GPU-2(2.88 bpw)111、GPU-3(3.01 bpw)108、GPU-4(3.23 bpw)104、GPU-5(3.84 bpw)94。限定:开 DFlash2(7 个草稿 token,仅文本)后 GPU-1 176、GPU-5 167,不作主值 | 宣称 | 2026-08-18 | 链接 |
| Qwen3.8-Flash-Next-Gyro | llama.cpp (agentionai fork) | RTX 5090 32GB | 113 | 113.0 tok/s 生成;3000.0 tok/s 读入 | 宣称 | 2026-09-30 | 链接 |
| Qwen3.8-Flash-Next | Strata | RTX 3090 24GB(PCIe 4.0 x8)单卡引擎 + Ryzen 9 9950X + 96GB DDR5-6000(同机:RTX 5090 与另一张经 OCuLink PCIe 4.0 x4 的 RTX 3090 各跑一个引擎,共享内存专家区) | 110 | 与 comm-393 同机同构建。本行为 PCIe 4.0 x8 的 3090 引擎:256K,1 槽,5 核。greedy 短提示,单独运行 decode 110–120,取下限 110;三引擎同时忙时 98–111。OCuLink x4 的 3090 引擎单独 113–127,三引擎同时 90–125;把该引擎加宽到 9 核(8 workers)后单独 134–136,但两张 3090 同时加宽时都降到 27–47。只作备注。无原始日志,记为宣称。 | 宣称 | 2026-11-13 | 链接 |
| Edge0-145B | edge0 | 1× RTX 5090 D 24GB | 99.7 | Edge0 官方模型卡速度表。Q3_K 版 chat decode 99.7 作主值;agent decode 121.2 另标。同机 NVFP4 版 chat 79.6 / agent 98.3(https://huggingface.co/Edge0/Edge0-145B-NVFP4),只作备注。同卡用 --vram-reserve-mib 8192 与 cgroup 20G 限成 16GiB VRAM + 20GiB RAM 时 Q3_K chat 36.8 / agent 44.9(模拟预算,不另列)。发布包 model.json 配置 --max-context 131072、--spec 4(MTP)、--kv int8;卡内未写引擎版本,也未写同时处理的请求数。官方数字,无逐次原始数据。 | 官方 | 2026-11-12 | 链接 |
| Qwen3.8-Flash-Next | Strata | 1× RTX 5090 32GB + Ryzen 9 9950X3D + 96GB DDR5-6400 + 9100 PRO Gen5(Ubuntu) | 85.5 | Strata engine 0.1.59(linux-cuda-sm120)+ Control 0.1.59.1,STRATA_ADAPT_FETCH=2。24h 遥测单流 decode 85.5–96.0(取下限 85.5;176K 上下文、REUSED=0)。双 agent 时主流 58–67 另标,不作单流主值。配置 262,144,8-bit KV,MTP 5。仅截图与文字区间,无原始日志,降为宣称。 | 宣称 | 2026-11-12 | 链接 |
| Qwen3.8-27B | llama.cpp | 1× RTX 5090 32GB | 75.2 | 窗口外补录(测于 2026-10-15,由 @llmspeed 窗口内引用)。llm-speed 签名跑分 r_qfrb2zmyk0k,suite-v1,llama.cpp b11669。chat-short decode 75.19,主值记 75.2(预填 563.4,TTFT 273 ms,逐 token 延迟 p50 13.2 ms);chat-long 74.57 另标。配置的上下文上限未写,不填。基线无同组合(llama.cpp × Q4_K_M × 5090 × Qwen3.8-27B)条目。llm-speed 页面只有汇总与签名,没有原始记录和完整服务设置,记为宣称。 | 宣称 | 2026-10-15 | 链接 |
| Nanbeige4.3-33B | lxe Rust/CUDA runner | 1× RTX 5090 | 70 | 约 70;无 ctx 和提示条件 | 宣称 | 2026-10-26 | 链接 |
| Qwen3.8-Flash-Next | llama.cpp | RTX 4090 / RTX 5090 + 系统内存 | 68 | 4090: 25→最高 41;5090: 31→最高 68 tok/s | 官方 | 链接 | |
| DeepSeek-V4.1-Flash-1017 | Basalt | RTX 5090 32GB(400W)+ RTX 5060 Ti 16GB(180W)+ 128GB DDR5 | 63.5 | 5090 + 5060 Ti 各算专家:解码 63.5 / prefill 610(6.2K 提示);仅 5090:53.6 / 610(热)595(冷);同机 llama.cpp PR #30817 --fit 约 20;作者实验分支未公开 | 宣称 | 2026-10-21 | 链接 |
| DeepSeek-V4.1-Flash-1017 | Strata | 1× RTX 5090(仅推理)+ RTX 3070 Ti(显示)+ 128GB DDR5 + i9-13900KF(Windows 11) | 53.8 | Strata 0.2.11:中位 53.8(均 52.0,min 41.5 max 57.8)。附截图。tok_s 取中位 53.8 | 宣称 | 2026-11-06 | 链接 |
| Nanbeige4.3-33B | dsx | 1× RTX 5090 | 40 | decode 40+;预填 4,000+ tok/s;无投机解码;无 ctx 和提示条件 | 宣称 | 2026-10-27 | 链接 |
| DeepSeek-V4.1-Flash | Front_Eagle739 streaming stack | Mac Studio M3 Ultra 512GB + RTX 5090 PC(32GB RAM,RAID0 NVMe) | 35 | 长 prompt 预填约 3,800;decode 35(散文)到 60(代码);只用 Mac 约 900 / 60 | 宣称 | 2026-10-30 | 链接 |
| DeepSeek-V4.1-Flash-1017 | Strata | RTX 5090 32GB + R9 9950X + 96GB DDR5 | 25 | Strata 0.2.4,512K 上下文:decode 25–40(取下限 25;作者说还在调);预填未测 | 宣称 | 2026-10-24 | 链接 |
| DeepSeek-V4.1-Flash | Tandem-vLLM | 1× RTX 5090 32GB + i5-14600KF + 128GB DDR4-3200 | 17 | 与 comm-371 同帖同引擎同量化,硬件改为 5090 + i5-14600KF + 128GB DDR4-3200。作者称 runs, slowly:单用户 17。4 流合计 20 另标,不作单流主值。草稿开关未写,不推断。上下文未写,不填。降为宣称。 | 宣称 | 2026-11-12 | 链接 |
| DeepSeek-V4.1-Flash | Front_Eagle739 streaming stack | 1× RTX 5090 + 32GB DDR5 + RAID0 NVMe(约 25GB/s) | 7 | 普通 decode 7;router 偏向显存中的专家时约 20(会改变输出);预填最高 1,770 | 宣称 | 2026-10-28 | 链接 |
| DeepSeek-V4.1-Flash | 未注明 | 单 RTX 5090 32GB + 126GB RAM + NVMe | 5.1 | 冷 5.1 tok/s;缓存热后 21.4 | 转述 | 链接 | |
| Qwen-Image 2.1 | 未注明 | RTX 5090 32GB | 5.93 s;NVFP4 6.7 s vs INT8 7.6 s vs BF16 15.6 s(1024²) | 转述 | 链接 | ||
| Qwen-Image 2.1 | 未注明 | RTX 5090 | 13.5 s → 1.9 s / 张(厂商宣称) | 宣称 | 链接 | ||
| Qwen3.8-27B | TensorFold | RTX 5090 vs 1× DGX Spark | 无草稿 75 vs 14.4;投机 215 vs 44 tok/s | 转述 | 链接 | ||
| FastH3 V2(MiniMax H3 8 步蒸馏) | 未注明 | RTX 5090 32GB | 832×480×5s:14.8 s;1344×768×5s:38.6 s(含音频,端到端) | 官方 | 2026-10-06 | 链接 | |
| FastH3 Trim(42 块剪枝,实验) | 未注明 | RTX 5090 | 480p 5s:13.4 s;768p:35.4 s | 官方 | 链接 | ||
| Wan2.1 14B(SparkDiffusion) | 未注明 | RTX 5090 | Wan2.1-T2V-14B 720P:50 步 CFG 稠密基线 4,769 s → 3 步无 CFG 18 s(论文称端到端 265×) | 官方 | 链接 | ||
| MiniMax H3 | LightX2V | RTX 5090 | 768×1344 15s 视频+音频 ≈72 s(稳态,不含 MP4 导出;基线 ~26 分钟) | 官方 | 2026-10-10 | 链接 |
数字来自各条来源。本项目未复测。各行的模型与设置不同。来源等级:官方 = 项目方或厂商;实测 = 发帖人亲测(引擎或配方作者须公开原始数据和复现步骤);转述 = 二手;宣称 = 预测或无复现细节。