⚡ 本地推理配方

English | 简体中文 | 日本語

RTX 3090 相关配置:本地推理速度(tok/s),均有出处

截至 2026-11-14,本数据集中 RTX 3090 有 67 条配方,其中发帖人实测 33 条。单机单流文字最快实测:384 tok/s,模型 LFM3-1.7B,引擎 llama.cpp(RTX 3090 24GB;实测;2026-10-28;来源)。其中 57 条有日期,从 2026-07-22 到 2026-11-13。

在配方库中筛选这些 →

模型引擎硬件tok/s指标来源等级日期来源
LFM3-1.7Bllama.cppRTX 3090 24GB384decode 约 384,预填约 21.7K(256K 上下文);252K 上下文时 124;占 3.9GB 显存实测2026-10-28链接
Qwen3.8-27BGeezuz2× RTX 3090(280W,PCIe,无 NVLink)190Reddit 帖 0 ctx 表:Q4 单流 190 / 8 路合计 622;Q8 143 / 610;Reddit 帖 10K ctx 单流 Q4 159、60K 143;仓库表(-d 4,fp16 KV,4 个提示词):平均 164.0 对 llama.cpp tensor split + MTP 4 的 99.7(1.64 倍;layer split 为 74.1 / 72.8);仓库批量表(-c 16384):4 路合计 442、8 路 625;56,017 token 时 105.4 对 66.6;评论指出 llama.cpp 基线可能未开 P2P实测2026-10-20链接
Qwen3.8-Flash-NextStrata2× RTX 3090 24GB(400W,NVLink)+ Ryzen 9 3950X + 121GB DDR4173.21 个对话(greedy):无槽位构建 173.2,双槽位最佳配置 143.6;聚合(另计)2 个对话 190.4。v0.2.9 本地构建加社区补丁,非正式版;限定:Strata #5089(engine 0.1.43,2× 3090 NVLink)测得 --peer-device 比 layer split 慢(decode 0.905 倍,预填 0.768 倍),layer split 下 NVLink 不起作用,见 comm-251。2026-11-08同作者双3090/NVLink,0.1.55到带patch的0.1.58:greedy 1K/8K/128K decode163.2/177.7/153.1,总体在约±5%波动内;预填反慢5–13%(github.com/Niko1221/Strata/issues/5528)。DFlash2 144.3与normal MTP167.5是不同arm;保留主值173.2。实测2026-11-01链接
Qwen3.8-27Bqwen38-megakernel1× RTX 3090 24GB138.5采样(思考开,温度 1.0,8 次)138.5(同卡 llama.cpp 最佳 72.8);greedy 代码 232.9 / 散文短篇 90.8;100K 上下文 109.2(llama.cpp 54.4);261K 深处 66.6;不开草稿短提示仍快 7.5%;任意草稿数 greedy 输出相同;聚合(另计)4 个 agent 382(llama.cpp 137)。2026-11-07 同作者新表(v2026.11.05,默认 7 draft,q8_0 KV):短 greedy 166.5、采样思考 146.9、101.6K 实填 116.4;4-agent 聚合 424(另计)。preset F 为 160.7 / 147.4 / 123.2,会改变输出,不可与 q8_0 混用。相对 llama.cpp b12024 自身 no-draft,greedy 输出 113/282 有变化(分数 231→229,6 题正误翻转);作者引擎自身 draft/no-draft 为 0 差异,不代表与 llama.cpp bit-identical。tok_s 仍取原先采样思考 138.5实测2026-11-02链接
Qwen3.8-Flash-NextStrata1× RTX 3090 Ti 24GB + Threadripper 3990X + 128GB DDR4138decode 约 138–140实测2026-11-01链接
Qwen3.8-27BvLLM4× RTX 3090 24GB(gpu-unlock 解锁 fp32 累加)131.9TP4:1 请求 131.9(解锁前 128.5);8 请求合计 571.7(解锁前 448);约 60K 提示 38.6实测2026-10-23链接
Qwen3.8-Flash-NextStrata4× RTX 3090 24GB (320W/card, no NVLink) + Threadripper 3990X + 251.5GiB RAM127.4Strata v0.2.12(146df3c4),engine 0.1.58 CUDA13 源码构建,S=setup 默认档:128K、batch3、int8 KV、MTP。标准协议 short 单流 decode 中位 127.4(run2 ±2%);4K/16K decode 128.3/127.9,预填 1921/3219。PT 未合并补丁短 decode 154.3 不作主值。c4 多路合计 198/202/196,16 用户短 多路合计 539.0(C 档),均不作单流主值。21/21 请求,sanity 12/12;6 份 results/outputs/engine.log 公开。实测2026-11-09链接
Qwen3.8-27Belpis (ExLlamaV3 patch)RTX 3090 24GB(350W)125.7elpis(ExLlamaV3 补丁服务端):decode 1K–262K 125.7,预填 8K–262K 1,220.7;GSM8K 40 题 205.3。int8 注意力会改变输出(有损);无损版是 gildrb/elpis-lossless(decode 82.7)实测2026-11-03链接
Qwen3.8-Flash-NextStrataRTX 3090 Ti 24GB + i9-12900KF + 64GB 内存(Windows 11)124Strata 0.1.49.2 @7dd5cf18,engine 0.1.47,strata_bench --long:short chat decode 124.0(99.2–148.1);agent 跟进 138.1;预填 4K 2,251 / 16K 2,833 / 32K 2,806实测2026-10-25链接
Qwen3.8-Flash-NextStrata2× RTX 3090 24GB(NVLink NV4)+ Threadripper PRO 3945WX + 128GB 八通道 DDR4(ThinkStation P620)121.8engine 0.1.43,layer split 对 --peer-device:8K 思考关 decode 121.8 对 112.0;32K 115.8 对 110.0;100K 107.4 对 98.2;peer 模式 decode 为 0.905 倍、预填为 0.768 倍(100K 约 0.65 倍)。layer split 下 NVLink 流量为 0。结论与旧 issue #204 相反实测2026-11-03链接
Qwen3.8-Flash-NextStrata单 RTX 3090 24GB + 64GB RAM(RAM 见同作者前帖)120.8120.8 tok/s 实时;2,000 PP;同作者同日稍早一帖:新版 Strata 发布后解码 72(128K,单 3090,x.com/needmorevram/status/2104898095318544540)实测链接
Qwen3.8-Flash-NextStrata2× RTX 3090 (48GB) + 64GB DDR5-6000120持续解码 120+ tok/s,峰值 153.4;冷 prefill 2,844 tok/s(191K),峰值 3,113实测2026-10-11链接
Qwen3.8-Flash-NextStrata2× RTX 3090 + Ryzen 7 9700X + 128GB DDR5117.5Strata 0.1.48.1 @7ddc17a3(engine 0.1.48),--spec 4 --mtp rt:短对话 117.5(85.9–134.7,9 次中位数);预填 4K 1,292 / 16K 2,416;agent 续轮 120.8;限定:Strata 0.2.10 起 Auto 默认改用 DFlash2;双卡 decode 可能弱于 MTP 或弱于单卡(Strata #5206 双 4060 Ti 上 DFlash2≈MTP;#5172 双 RX 9070 比单卡慢 10–50%)实测2026-10-24链接
DeepSeek-V4.1-Flash-1017vLLM2× DGX Spark(GPU 锁 2300 MHz)+ 1 台 EPYC 主机带 2× RTX 3090(NVLink),共 3 台110sparkDash 协议,3 次中位数,单流:JSON 138,代码 110,散文(温度 0,思考关)66,散文(思考开)56;聚合(另计)4 流:322 / 192 / 130 / 105。预填 4K 2,827,128K 2,650,256K 2,618。128K prompt 后 decode 62实测2026-10-31链接
Qwen3.8-Flash-Next(去拒答)StrataRTX 3090 24GB(300W)+ 41GiB RAM(专家放系统内存)91单卡 4K 91–102 / 32K 99–101 / 131K 100–103;prefill 0.9–1.6K;同机 IQ3_S GGUF 74–84;质量数据(KL 0.040)由 Mirai 提供,作者未复核;2026-11-02 同一测试者:32K 和 130K 都是 88,32K 预填 1,932;双卡 123(x.com/superalesha/status/2117135114081837264)实测2026-10-20链接
Qwen3.8-Flash-NextStrata1× RTX 3090 + 64GB DDR490.7同一台机器 engine 0.1.45 → 0.1.56:decode 69.6 → 90.7(+30%);agent decode 85.2 → 121.5;首 token 3.56 → 2.61 秒;预填不变;同卡档 Strata 0.2.10:web-admin-master 短 prompt decode 97–100(从 0.1.40.1 的 69–79 提升),但读约 64K prompt 时整机硬重启 3 次,回退 0.1.40.1 后正常(Strata #5241)实测2026-11-03链接
Qwen3.8-Flash-NextStrataRTX 3090 24GB + i9-10900K + 64GB 内存(Windows 11)86.9Strata 0.1.48.1,engine 0.1.48,k8v4 KV + --kv-grow,512K 上下文:short chat decode 86.9;agent 跟进 94.4;预填 4K 1,102 / 16K 1,675。engine 0.1.50 复测:86.9→99.0(跨天,区间重叠)。7 组 A/B 中只有 STRATA_PF_FUSED=1 超出噪声(16K 预填 +3.6%)实测2026-10-25链接
Qwen3.8-Flash-Next未注明RTX 3090 24GB(EVGA FTW3)+ Xeon E5-1680 v2(2013)+ 128GB 四通道 DDR3-1866 ECC70decode 70 / prefill 1,900(作者称主要靠 3090)实测2026-10-22链接
DeepSeek-V4.1-FlashProject Maya4× RTX 3090 + EPYC(Zen 2)70解码 57(stock 33);32K 预填 1,626→2,642;约 30% 专家在 RAM;2026-11-01 内存插满 8 通道(512GB,44→72 GB/s)后,短代码重放 Maya-S 67.7→81.5(各 1 次,x.com/superalesha/status/2116937129569738863);2026-11-03 新帖:4×3090(PCIe 3.0,无 NVLink),Maya v1.1.51 原版与作者改版 decode 都约 70;作者改版预填 16K 1,029 → 1,262、116K 1,753 → 2,651、272K 1,406 → 2,888;历史主值 57(x.com/superalesha/status/2114402413742362907)实测2026-11-03链接
Nanbeige4.3-33BvLLM2× RTX 3090 + NVLink66单流 66;recipe 含 C1–C6 并发 bench实测2026-10-26链接
Qwen3.8-Flash-NextStrataRTX 3090 24GB + 128GB RAM(Windows)65.5短对话解码中位 65.5 tok/s(49–81),首 token ~0.40 s;~14.5K 上下文 agent 回合 74.8;prefill 4K 1,473 / 16K 2,127 tok/s实测2026-10-14链接
Nanbeige4.3-33B BasevLLM1× RTX 3090 24GB39.6单流 39.6(同机 Qwen3.8-27B 27.2);测的是 Base 模型实测2026-10-26链接
DeepSeek-V4.1-Flash-1017Strata1× RTX 3090 Ti 24GB + Threadripper 3990X + 128GB DDR435decode 约 35(MTP/DSpark 开)实测2026-11-01链接
DeepSeek-V4.1-Flash-1017未注明2× RTX 3090 + 256GB 八通道 DDR4351M 上下文:decode 约 35,预填约 900。帖子没写引擎实测2026-11-03链接
Qwen3.8-Flash-Next未注明M4 Mac mini 16GB + RTX 3090(NVMe 流式)31EXL3 3-bit,超过一半模型从 NVMe 流式读取:31 tok/s;前一天同机另帖(2026-10-14,量化未写,x.com/0xSero/status/2110103539813077168):解码 23–27,预填 523,200K KV,启动 118 秒实测2026-10-15链接
DeepSeek-V4.1-Flash-1017ds412× RTX 3090(PCIe 4.0 x16 + 3.0 x4)+ 128GB DDR4-3200 + i7-12700K + NVMe22通用散文解码 22–24 tok/s;3,000-token agent 提示 31.5(引擎基准,热专家按 agentic 负载排序,偏乐观);prefill 3,000 token 340;vs FP8 KL 0.462 / top-1 71.5%实测2026-10-18链接
Qwen3.8-Flash-NextStrataRTX 3090 + 32GB RAM(单卡)/ +2070S(合 32GB)2020–21 tok/s / 34.2 tok/s实测链接
GLM-5.3 744BProject Maya4× RTX 3090 24GB(ASUS TUF OC,功耗限制 250W)+ EPYC 7702 + 512GB DDR4 ECC11.1Maya v1.1.57(commit 0065548)。--bench decode 均值 11.1(9.6/12.2/11.5)。预填 2K 145 / 8K 265。上下文 262144。完整 maya-report 贴在 issue。消费级 3090,未见机架证据。实测2026-11-10链接
Kimi K3未注明2× RTX 3090 + 1TB DDR4(8×128GB)8.5100K 上下文:平均 8.5–9;预填 35。帖子没写引擎实测2026-11-03链接
DeepSeek-V4.1-Flash-1017llama.cppRTX 3090 24GB + i9-9900X + 128GB DDR47.27.2;思考关,上下文 16K;作者称答案里有物理错误,实用性低实测2026-10-21链接
Z-Image Turbo(6B,8 步)ComfyUIRTX 3090 24GB2048px 约 8 s / 张;另一用户预热后 12 s实测链接
Qwen3.8-Flash-NextStrata2× RTX 3090 + 80GB DDR4(二手 HP Z840)100+ tok/s;900–1,200 PP;限定:Strata 0.2.10 起 Auto 默认改用 DFlash2;双卡 decode 可能弱于 MTP 或弱于单卡(Strata #5206 双 4060 Ti 上 DFlash2≈MTP;#5172 双 RX 9070 比单卡慢 10–50%)实测链接
MiniMax H3ComfyUIRTX 309011 s 视频 13 分钟实测链接
Qwen3.8-27BtqLLMRTX 3090 24GB273短提示(LocalMaxxing reasoning)273 tok/s,5 次中位、温度 0,已获 LocalMaxxing 收录;代码提示随上下文:32K 203 / 128K 157 / 192K 144 / 256K 107(tok_s 取短提示)。2026-11-09作者试 DSpine:TQ4_L 代码/数学 209(同条件 DFlash2 227);TQ3_4S 133 vs DFlash2 162;5060 Ti 16GB TQ_XS 85 vs 130。DSpine 接受更多但草稿步更贵。本行 TQ3_4S·DFlash2 短提示 273 不变。2026-11-09作者补充散文/长文(同 3090、TQ3_4S,greedy,thinking off):DFlash2 243→131,DSpine 194→109(草稿接受率散文 36% vs 代码 78%)。273 主值属短提示 reasoning/代码口径,不改。官方2026-10-15链接
Qwen3.8-Flash-NextStrataRTX 5090 32GB(PCIe 5.0 x8)单卡引擎 + Ryzen 9 9950X + 96GB DDR5-6000(同机另有两张 RTX 3090 各跑一个引擎,三引擎共享约 50GB 内存专家区)160Strata 自建 v0.2.12 + PR #3341 + #5203(engine 0.1.58.2),control 0.1.58 + #3565。三个引擎共享内存专家区(--shared-expert-arena,约 50GB),--ple-io direct。本行为 5090 引擎:512K(YaRN ×2,KV q4_0),--batch 2 --batch-mtp,7 核。greedy 短提示,单独运行 decode 160–205,取下限 160;三引擎同时忙时 139–186。线上 15.5K 次请求 decode 中位 164(p90 192)。全机 4 流 合计 371–392,不作单流主值。无原始日志,记为宣称。3090 引擎见 comm-394。宣称2026-11-13链接
Qwen3.6-35B-A3B-Escha-W2SGLangRTX 3090 24GB154154 tok/s 生成宣称2026-07-22链接
Qwen3.8-Flash-NextStrata4× RTX 3090 24GB(275W 上限,无 NVLink,PCIe 3.0)+ Threadripper 2920X + 128GB(GPU1/3 x16,GPU0/2 x8)139Strata 0.2.13(engine 0.1.59),层切分,DFlash2 草稿,int8 KV,每层 32K KV 在显存,层 4–44 加 control vector。思考关,温度 0,单请求,每配置冷启动跑 2 次。4 卡(0+1+2+3)short decode 139–144,取下限 139;50K 后 85–96;冷读 2K/16K/50K 用 2.0/6.4/12 s;专家命中 99%。作者注:草稿接受数影响 tok/s。只有汇总表,无逐次原始数据,记为宣称。同帖 3 卡、2 卡见 comm-386、comm-387。宣称2026-11-13链接
Qwen3.8-27BDFlashRTX 3090 24GB13882 原生 → 114 MTP → 138 DFlash2 tok/s转述链接
Recursive Flint 40B-A2.5Bllama.cppRTX 3090 24GB130.8chat-short 解码 130.8(8K)/ 128.9(16K);16K:chat-long 123.0 / 读入 2,740,agent-trace 124.4 / 读入 6,081;同卡同构建 Qwen3.8-27B Q4_K_M 38.83(3.37×)。UD-Q4_K_XL(25.05GB)放不进 24GB:部分放到 CPU 后约 17;每配置 1 次宣称2026-10-22链接
Qwen3.8-Flash-NextStrata3× RTX 3090 24GB(275W 上限,无 NVLink,PCIe 3.0)+ Threadripper 2920X + 128GB(GPU1+2+3:x16/x8/x16)112与 comm-385 同机同设置,只用 3 卡(1+2+3)。UD-Q4_K_XL short decode 112–137,取下限 112;50K 后 100–105;专家命中 95%。其他 3 卡顺序 119–134,作者称差异在噪声内。UD-Q5_K_XL 同 3 卡 91–93(PPL 2.4781,Q4 为 2.4919),只作备注。200K 对话:冷读 189,809 token 用 91 s,之后短问题 decode 78。只有汇总表,无逐次原始数据,记为宣称。宣称2026-11-13链接
Qwen3.8-Flash-NextStrataRTX 3090 24GB(PCIe 4.0 x8)单卡引擎 + Ryzen 9 9950X + 96GB DDR5-6000(同机:RTX 5090 与另一张经 OCuLink PCIe 4.0 x4 的 RTX 3090 各跑一个引擎,共享内存专家区)110与 comm-393 同机同构建。本行为 PCIe 4.0 x8 的 3090 引擎:256K,1 槽,5 核。greedy 短提示,单独运行 decode 110–120,取下限 110;三引擎同时忙时 98–111。OCuLink x4 的 3090 引擎单独 113–127,三引擎同时 90–125;把该引擎加宽到 9 核(8 workers)后单独 134–136,但两张 3090 同时加宽时都降到 27–47。只作备注。无原始日志,记为宣称。宣称2026-11-13链接
Qwen3.8-Flash-NextStrata2× RTX 3090 24GB(一张 PCIe 4.0 x8 主卡;一张 PCIe 3.0 x1 转接线作 helper)+ Ryzen 5 8600G + 61GiB(Arch Linux)99Strata engine 0.1.59.1,本地构建(v0.2.13.1-88-gdbb2d168)。层切分 15,STRATA_STAGE_TRIM=1,--pipeline-windows 2 + STRATA_MTP_STAGE0=1,--spec 4,--kv int8,--max-context 262144,PLE Q8_0 用 --ple-io direct。冷探针 decode 99–110,取下限 99;同配置实际聊天 57 次中位 100.8(77–123)。冷读 20.7K 约 2,122。x1 转接线卡作 helper 放层 0–14。作者称原始数据 zip 只在请求时附上,issue 内未公开,记为宣称。宣称2026-11-12链接
Qwen3.8-Flash-NextStrata2× RTX 3090 24GB(275W 上限,无 NVLink,PCIe 3.0)+ Threadripper 2920X + 128GB(GPU1+3,均 x16)96与 comm-385 同机同设置,只用 2 卡(1+3,均 x16)。UD-Q4_K_XL short decode 96;50K 后 83–90;专家命中 88%。x8 对(0+2)decode 90–95,作者称 PCIe 宽度不影响 decode,只影响读入。UD-Q5_K_XL 同 2 卡 68–69,只作备注。只有汇总表,无逐次原始数据,记为宣称。宣称2026-11-13链接
Qwen3.8-Flash-Next (abliterated)Strata1× RTX 3090 24GB91Strata 0.2.10 + DFlash2,16K 上下文:代码 110 / 英文 91,预填 1.8K。2×3090:代码 151 / 英文 126,预填 2.6K;128K 时双卡代码仍 147。量化文件为 Unsloth 11-04 重传的 Dynamic V3.1(d9620119);Strata #5296 记 gfx1151 上该文件 prefill 慢 40–55%,本条为 CUDA 3090。tok_s 取英文 91宣称2026-11-05链接
Nemotron 3.5 Bolt 74B-A9Bllama.cpp1× RTX 3090 24GB87.8窗口外补录(测于 2026-10-15,由 @llmspeed 窗口内引用)。llm-speed 签名跑分 r_-sifd5otbpy,suite-v1,llama.cpp b11669。chat-short decode 87.75,主值记 87.8(预填 1,183.4,TTFT 462 ms)。博客写明在 4K 上下文测量。基线无 3090 同行(x-271/x-272 为 4090/5090)。页 https://llm-speed.com/blog/nemotron-3-5-bolt-74b-24gb-measuredllm-speed 页面只有汇总与签名,没有原始记录和完整服务设置,记为宣称。宣称2026-10-15链接
Qwen3.8-Flash-NextStrata1× RTX 3090 24GB(功耗限制 280W)+ Xeon Gold 6248 + 192GB DDR4 ECC65.95Strata v0.1.58(引擎遥测;精确 Git commit 未记录)。自定义长上下文推理套件,非标准 strata bench。12 次请求遥测 decode 中位 65.95(59.5–83.5)作主值。上下文 524,288,由 262,144 经 YaRN 2x 扩展。正文提到 Zagitta/gpu-unlock 已启用,但修订/启动证据未存档、无对照,不加 gpu-unlock 标签。无现场 JSON,故为宣称。未见机架证据。宣称2026-11-11链接
Qwen3.8-Flash-Next未注明RTX 3090 24GB + 64GB DDR4/5 + 100GB NVMe64c1 解码 64 tok/s;预填充 2,000 / 2,800 tok/s宣称2026-09-29链接
Qwen3.8-27BvLLM1× RTX 3090 24GB(专用;显示接 3090 Ti)48.7vLLM v0.31.0,--gpu-memory-utilization 0.94。作者原话:该 AWQ 与同配方 abliterated 构建均为约 40K KV cache、48.7 tok/s。官方 AMD Quark 构建在 24GB 上转换权重时 OOM,未能加载。Honcho JSON 200/200。约 40K 是实测 KV 占用,不是写明的配置上限,上下文不填。无原始日志,降为宣称。宣称2026-11-10链接
Qwen3.5-27BOllama1× RTX 3090 24GB42Ollama 0.40.15,默认设置,单请求 42。4 请求同时:默认 合计 39.8;OLLAMA_NUM_PARALLEL=4 合计 33.1(每请求 32K 上下文,16% 模型移到 CPU),不作单流主值。同帖 llama.cpp 单请求也是 42、4 请求合计 100.2,但 llama.cpp 版本未写,不另列。单请求的上下文上限未写,不填。无原始日志,记为宣称。全文 https://homebrewserver.club/ollama-vs-llama-cpp.html宣称2026-11-13链接
DeepSeek-V4.1-Flash-1017delta-inference-engineRTX 3090 24GB + i5-13600K + 192GB DDR5-5600(Windows)41.7Delta Inference Engine v0.93(同一作者、同一 3090 + 192GB 机):UD-IQ2_XXS @192GB 写速 41(与上版持平);同表 @128/96/64GB 为 34.0 / 29.3 / 21.0;UD-IQ1_S @192/64GB 41.0 / 30.6;预填至约 740@64K(192GB);99 题正确 57/99(上版 ds4 Q2 为 52)。注:Unsloth Dynamic 量化文件版本会影响不同后端,不可跨卡直接比(见 Strata #5296 gfx1151 预填回退 vs 本条 decode 提升)。tok_s 取 UD-IQ2_XXS@192GB 的 41。2026-11-09引擎作者 musicurgy 发 v0.94:同一 3090 + 192GB 机,UD-IQ2_XXS greedy 写速 41.7(默认采样 41.3);长提示预填约 60K 为 811(0.93 同晚 747)。另加一张 x4 槽 RTX 3060 为 42.9 / 42.2。README 与 Reddit 表一致。主值改为 0.94 greedy 41.7;等级仍为宣称。宣称2026-11-05链接
DeepSeek-V4.1-Flash-1017dsx2× RTX 3090 24GB + i7-12700K + 128GB 内存41dsx(Rust + CUDA),expert deferral(--defer-rank 3,会改变计算)+ FP8 投影:自由生成 41官方2026-10-25链接
Qwen3.8-27B-S-miraillama.cpp (mirai-s fork)RTX 3090(显存限制 12GB,PCIe 3.0)39.739.7 tok/s 生成;1008 tok/s 读入宣称2026-09-26链接
Qwen3.8-27Bllama.cpp1× RTX 3090 24GB38.61窗口外补录(测于 2026-10-22,由 @llmspeed 窗口内回帖引用)。llm-speed 签名跑分 r_mmtzel_i367,suite-v1,llama.cpp b11803。chat-short decode 38.61(预填 482.3,TTFT p50 25.8 ms);chat-long 38.19。上下文 4K。基线无同组合(llama.cpp × Q4_K_M × 3090 × Qwen3.8-27B)条目。llm-speed 页面只有汇总与签名,没有原始记录和完整服务设置,记为宣称。宣称2026-10-22链接
DeepSeek-V4.1-Flash-1017Project MayaRTX 3090 + RTX 3080 Ti + 128GB RAM38更新 Maya 后 decode 27 → 38(开“跳过低权重 RAM 专家”选项,有损);74K 预填 1,225 → 1,840宣称2026-11-03链接
Qwen3.8-27B + Tencent DSpine-b16llama.cpp (Ajay9o9 dspine fork)1× RTX 3090 24GB35.6Ajay9o9/llama.cpp@dspine(未发版)。llama-benchy 小说文本:8K 深度 DSpine decode 35.6(对照 DFlash2 26.6 / 无投机 28.1);32K/64K 31.1/35.5。代码/数学约 125、混合聊天 90 为任务偏向,另标不作主值。KV q8_0 时约 64K;n-max 7 时约 98K。无原始日志、无完整命令,降为宣称。宣称2026-11-09链接
Qwen3.8-Flash-Next未注明RTX 3090 24GB + 64GB DDR431.7平均约 31.7(简单问题,推理 OFF / MAX);内存 56–57 / 64GB,显存 19.8 / 24GB;上下文 16K / 32K宣称2026-10-25链接
DeepSeek-V4.1-FlashProject Maya2× RTX 3090 24GB + 1× RTX 2070 Super(只跑 DSpark 草稿;CPU/内存未写)30Project Maya v1.1.59。两张 RTX 3090 跑主模型,RTX 2070 Super 只跑 DSpark 草稿,n-gram 表放 SSD。decode 30。作者写 Unsloth 新 v3.1 q2 量化,具体档位未写。上下文上限、CPU 与内存未写。无原始日志,记为宣称。宣称2026-11-13链接
Qwen3.8-Flash-Nextllama.cppRTX 3090 + 64GB RAM2828 tok/s(持续 1.59M token)/ 38.6 tok/s转述链接
DeepSeek-V4.1-FlashProject Maya2× RTX 3090 + 128GB RAM26同机对拍:Maya 1.1.54 中位 decode 26.04;Strata 0.2.11 中位 22.75(Strata 读入/总时长约 +19–22%)。tok_s 取 Maya 26.0宣称2026-11-05链接
DeepSeek-V4.1-Flash-1017 CoderStrataRTX 3090 + 64GB DDR423.2Strata 0.2.10:decode 23.2,预填 659(旧版同量化 6–10 / 约 10)宣称2026-11-04链接
MiniMax-M3.1-FlashProject Maya4× RTX 3090 24GB + EPYC(8 通道只插 2 条)23decode 23–31(同机 llama.cpp 最佳 6.7);预填 16K 1,120 / 28K 1,525(llama.cpp 219);冷专家经 CPU 约 19 GB/s宣称2026-10-28链接
DeepSeek-V4-Flash(V4 非 4.1)ds4 (DwarfStar)1× RTX 3090 + 64GB RAM10.18最终配置(第 7 组)稳态 decode 四类提示总均值 10.18 ± 1.17(代码 10.11 / 数学 9.95 / 散文 11.74 / 合成 8.91),每组 N=20 次预热后运行;基线 1.02。在 7,000+ token 上下文的 ds4-agent 负载下为 5.2–5.5。输出与基线逐位相同(max_abs_diff 0)。tok_s 取总均值宣称2026-10-27链接
Kimi K3.1 ProProject Maya3× RTX 3090 + EPYC 9124 + 128GB + 1 块 NVMe1Project Maya 开放 PR #962(maya-k31,基于 v1.1.60,head fa283b528;默关闭的独立引擎)。3×3090 + NVMe 流式专家,IQ1_S decode 1.0 作主值。与 BF16 top-1 一致 92.1%。--n-ctx 测到 32K,只是测试上限,配置的上下文上限未写,不填。无机架证据,按工作站收录。PR 正文数字,无原始日志,降为宣称。宣称2026-11-12链接
Kimi K3.1 ProProject Maya3× RTX 3090 + EPYC 9124 + 128GB + 1 块 NVMe0.88与 comm-364 同 PR 同机同引擎,量化改为 IQ1_S + IQ2_XXS 混合,decode 0.88,单列。测试上限 32K,配置的上下文上限未写,不填。无原始日志,降为宣称。宣称2026-11-12链接
Qwen-Image 2.1未注明RTX 309082–96 s / 2K(公开回执)转述链接
Qwen3.6-35B-A3BOllamaRTX 3090139.6 @32K;112.4 @64K(溢出 0.71GiB 到 CPU)转述链接
ACE-Step 1.5(音乐)未注明RTX 3090整首歌 <10 s(宣传帖)转述链接

数字来自各条来源。本项目未复测。各行的模型与设置不同。来源等级:官方 = 项目方或厂商;实测 = 发帖人亲测(引擎或配方作者须公开原始数据和复现步骤);转述 = 二手;宣称 = 预测或无复现细节。