Qwen:本地推理速度(tok/s),均有出处
截至 2026-11-14,本数据集中 Qwen 有 504 条配方,其中发帖人实测 295 条。单机单流文字最快实测:538.1 tok/s,模型 Qwen3.8-27B,引擎 TensorFold(1× RTX 5090;实测;2026-10-26;来源)。其中 420 条有日期,从 2026-03-04 到 2026-11-14。
| 模型 | 引擎 | 硬件 | tok/s | 指标 | 来源等级 | 日期 | 来源 |
|---|---|---|---|---|---|---|---|
| Qwen3.8-27B | TensorFold | 1× RTX 5090 | 538.1 | 新启动服务的 harness 解码:prose 278.3,code 538.1(含 DFlash2 草稿),structured 352.6;100K 冷提示后解码 222–225 | 实测 | 2026-10-26 | 链接 |
| Qwen3.8-Flash-Next | Basalt | 1× RTX 5090 32GB + 59GB RAM | 500.4 | Basalt v0.3.0(帖文所链仓库 toolcall/basalt93 写明版本,非按发帖时最新发行推断)。测于 2026-11-07。MTP 草稿 9 次干净跑、各 700 token:decode 500.4 作主值;无草稿 259.0 另标。同权 llama.cpp 对照 98.3 / 89.1。上下文设置未写,不填。预登记规则与公开树在 github.com/notwitcheer/llm-bench-rig/tree/main/toolcall/basalt93。 | 实测 | 2026-11-07 | 链接 |
| Qwen3.8-Flash-Next | QEngine | 2× RTX 5090 32GB + Threadripper PRO 3975WX + 251GB RAM | 370 | club-3090 bench.sh:decode 叙述 / 代码 370 / 439(KV 在显存),FLASH_KV=ram 为 406 / 504;预填 10K 约 5.7K,90K 约 7.3K。同机 Strata IQ3_S 214 / 293。8 个 64K 流每流 124(RAM KV)对 139(显存 KV) | 实测 | 2026-10-31 | 链接 |
| Qwen3.8-27B | SGLang | RTX PRO 6000 | 300 | 约 300 tok/s(帖文);mia-ai.net 列 240+、8 请求 | 实测 | 2026-08-20 | 链接 |
| Qwen3.8-Flash-Next | vLLM | 1× RTX PRO 6000 Blackwell 96GB(限 450W) | 287 | 编码任务(约 250 token 入,1,536 出,温度 0,思考关):单流 287(含预填的墙钟值);预填 4K 约 14.5K,128K 约 13.5K;聚合(另计)8 并发 965 | 实测 | 2026-10-30 | 链接 |
| Qwen3.8-Flash-Next | TensorFold | 1× RTX PRO 6000 Blackwell 96GB | 271.4 | 400W 散文 decode(温度 0.7,思考开):1 请求 271.4;聚合(另计)2 请求 395.7,3 请求 503.7;600W 预填 4K 9,218.8 / 32K 8,519.9 / 128K 7,886.9。X 帖写 600W,但配方页写 decode 是 400W 测的,本条按配方页 | 实测 | 2026-11-02 | 链接 |
| Qwen3.8-Flash-Next | Strata | RTX 5090 + Ryzen 9 9950X(Windows) | 270.7 | Q2_0 short 270.7,4K 258.0,16K 220.4;IQ3_S short 219.5,4K 195.0,16K 208.9;sanity 12/12 | 实测 | 2026-10-26 | 链接 |
| Qwen3.8-27B | TensorFold | 1× RTX 5090 32GB | 268.2 | TensorFold 1.1.2(BobClawblaw 分支 q35-prompt-int8 @18d93451),FP8 KV:decode code 268.2 / prose 238.7;32K TTFT 7.7s;262K 上下文占 27.3GiB。配方只开 1 个 stream,8 请求总量 204.6。同卡对照:NInfer MTP3 169.0、Mia EXL3 4.0bpw 154.5;2026-11-01 用 TensorFold 1.2.0 复测:代码 268.6 / 散文 248.6,32K 预填 3,954(比 1.1.2 低 5.5–7.7%),8 请求总量 211.8(x.com/niklaslenz_ai/status/2116829349278359748) | 实测 | 2026-10-25 | 链接 |
| Qwen3.8-Flash-Next | Basalt | RTX 5090 32GB + Core Ultra 9 285K + 247GB DDR5 | 242 | 16K 时 decode:basalt 242 / capy-flash 198 / ninfer-ext 92;128K 时 basalt 216;prefill basalt 8.3–9.2K | 实测 | 2026-10-23 | 链接 |
| Swift-1.5-Qwen3.8-Flash-Next | ninfer | RTX PRO 6000 Blackwell 96GB @ 600W + 96GB DDR4 + Ryzen 5 5600X | 238 | 解码均值 ~238 tok/s(Ninfer6000 博客 sweep mean;MTP 3 draft) | 实测 | 2026-10-15 | 链接 |
| Qwen3.8-Flash-Next | Radiance | 4× Radeon AI PRO R9700 32GB(PCIe5 x16,每卡限 211W)+ 122GB RAM | 236 | Radiance 1.11.0 TP4:单流 236(思考开 4,096 token 197);聚合(另计,思考关、512 token、整批墙钟)c2 371 / c4 591 / c8 890 / c16 1,192;预填约 8.4K。2026-11-09 Anarchaotic:同组合 Radiance v1.17.0 + 4×R9700(210W)+ 同 fp8-iq4r 包,塔式 Phanteks Enthoo Pro 2 Server / EPYC 7402P / ROMED8-2T / 128GB DDR4,约 $16K CAD。单用户 32K 冷 turn1 写速 195(64K/128K 185/189)。与本行 1.11.0 的 236 同引擎×硬件×模型×量化,作版本/主机备注,不改主值、不另开行。 | 实测 | 2026-10-24 | 链接 |
| Qwen3.8-Flash-Next | Strata | 1× RTX 5090 32GB(PCIe Gen3 x16,卡上有其他任务共用)+ 两颗 Xeon Gold 5218(无 AVX-512) | 231.5 | Strata 官方 Docker 0.2.13(engine 0.1.59),配置 262,144,1 槽。strata bench run standard-v1 两次,均完整,sanity 12/12。第一次(专家缓存 3,090 槽)short decode 231.5 作主值;4K 242.7,16K 214.4;读入 4K/16K 2,373/5,148。第二次(同卡其他任务退出后 14,570 槽)short 242.5,作者称在 3 次中位的波动内。1 小时连续请求(非标准协议)4,025 次全部成功,decode 262–266,只作备注。同机旧结果:engine 0.1.47(Docker 0.2.2-cuda13)、1M 上下文、--kv q4_0、--kv-resident 16384 时单请求 decode 82.5,再空出 5.5GB 时 93.8(https://github.com/Niko1221/Strata/issues/5852,无原始日志,宣称)。双路 Xeon 无机架证据,按工作站收录。outputs.jsonl 与 results.json 在 PR。 | 实测 | 2026-11-13 | 链接 |
| Qwen3.8-Flash-Next | Strata | 1× RTX PRO 5000 Blackwell 48GB + Threadripper PRO 9975WX + 250GB(Linux,团队共用) | 229.7 | Strata v0.2.12(engine 0.1.58,release tag 123bad4)。原生 262,144 窗口,--kv int8 --kv-resident 32768,4 批槽,--batch-groups 1 --batch-mtp,--spec 4。加 --mtp-q4 all + --lookup-chain 3 后,空闲时单请求 decode 229.7/237.6,取低值 229.7 作主值;改前约 112.6–150.0。2 请求同时每请求 116.4–130.7,4 请求同时每请求 66.1–77.0,不作单流主值。作者注明两个开关的作用未分开测。逐次日志与配置副本在 PR。测于 2026-11-11 至 11-13。 | 实测 | 2026-11-11 | 链接 |
| Qwen3.8-Flash-Next | Strata | 1× RTX PRO 6000 Blackwell WS 96GB (350W cap of 600W) + Windows 10 | 228 | Strata v0.2.12 + 本地日志分支 3feea4f4(引擎未改),engine 0.1.58 官方 Windows CUDA13。短 chat 中位 decode 228(209–327);agent 266;预填 4K/16K/32K 4446/5054/5126。2 slots,int8 KV;needle 6/6@32K/128K。results.json 与 needles.json 公开。功耗硬限 350W。与同卡 UD-Q2_K_XL 的 x-293 分列。 | 实测 | 2026-11-08 | 链接 |
| Qwen3.8-Flash-Next | Strata | RTX 5090 32GB + 121GB DDR5 | 227 | Strata 0.2.10 主值 227(聊天 decode;同帖对比旧版聊天 152 → 227,+49%,首 token 0.27 → 0.17 秒;x.com/lyesbahi/status/2117545259358196187)。历史:Strata 0.2.3(engine 0.1.48)单流 240,2 用户每人 115;测法与 0.2.10 聊天 decode 不同,不可直接比;作者称此卡无提速(2026-10-21 旧帖为不同测法:解码 185,峰值 225,专家缓存命中 98.5%,9K 提示约 1.4 秒,x.com/lyesbahi/status/2112809633261969621);来源帖 x.com/lyesbahi/status/2113602136051458520 | 实测 | 2026-11-03 | 链接 |
| Qwen3.8-Flash-Next | Strata | RTX 5090 32GB + 系统内存(部分卸载) | 204 | Strata+MTP 204 tok/s(无 MTP 122);写同一城市页 28.8 s;prefill 中位 4K ~3,790 / 32K ~5,230 tok/s;15 项质量检查全过,27 次重复仅 1 次文本一致(tok_s 为单一写作任务速度,帖子未分散文/代码) | 实测 | 2026-10-14 | 链接 |
| Qwen3.8-Flash-Next | Strata | RTX 5090 32GB(限 450W)+ Ryzen 7 9800X3D + 60.5GB DDR5 | 202.1 | bench.sh --long 中位:聊天解码 202.1 / agent 解码 223.8 tok/s;prefill 4K/16K/32K = 4,473 / 6,656 / 6,827 tok/s | 实测 | 2026-10-13 | 链接 |
| Qwen3.8-Flash-Next | SGLang (Penny Royal fork) | 1× RTX PRO 6000 Blackwell 96GB(限 300W) | 200 | Penny Royal 3.1.4,短提示,生成 400 token:1 流约 200(同卡原版 SGLang 约 94);聚合(另计)4 流约 500,8 流约 554(每流 74);预填约 12.5K;KV 池 942K token | 实测 | 2026-11-02 | 链接 |
| Qwen3.8-27B | VoidInfer | RTX 5090 32GB | 193 | 1 请求、1,024 输出 token、每档 3 次:VoidInfer 3K 193 / 32K 177 / 97K 146 / 200K 127;NInfer 219 / 197 / 176 / 153。NInfer 预填约快 2–2.5 倍 | 实测 | 2026-10-28 | 链接 |
| Qwen3.8-27B | Geezuz | 2× RTX 3090(280W,PCIe,无 NVLink) | 190 | Reddit 帖 0 ctx 表:Q4 单流 190 / 8 路合计 622;Q8 143 / 610;Reddit 帖 10K ctx 单流 Q4 159、60K 143;仓库表(-d 4,fp16 KV,4 个提示词):平均 164.0 对 llama.cpp tensor split + MTP 4 的 99.7(1.64 倍;layer split 为 74.1 / 72.8);仓库批量表(-c 16384):4 路合计 442、8 路 625;56,017 token 时 105.4 对 66.6;评论指出 llama.cpp 基线可能未开 P2P | 实测 | 2026-10-20 | 链接 |
| Qwen3.8-27B | TensorFold | 2× DGX Spark(双机张量并行) | 190 | decode 代码约 190–200,散文约 70;2K 预填约 3,250(之前约 1,100);对 BF16 的 KL 约 0.03–0.04。tok_s 取代码下限 | 实测 | 2026-11-02 | 链接 |
| Qwen3.8-Flash-Next | Strata | RTX 5090 32GB + RTX 4070 Ti SUPER 16GB(芯片组 PCIe x1)+ i7-14700K + 32GB 内存 | 186.3 | strata_bench short chat 186.3(153.7–254.8);prefill 4K 2,446 / 16K 3,917;Strata v0.2.1 + ExTV 5 个补丁 | 实测 | 2026-10-23 | 链接 |
| Qwen3.8-Flash-Next | Strata | 2× RTX PRO 4500 Blackwell 32GB + TR 7960X + 61GB RAM | 185.7 | short 185.7(默认)/183.4(batch-groups=auto);16K 解码 152.5;聚合(另计)4 并发 192–245 | 实测 | 2026-10-26 | 链接 |
| Qwen3.8-Flash-Next | Strata | RTX 5090 32GB + Core Ultra 7 265K + 128GB 内存(Windows 11) | 176.3 | Strata 0.1.48.1 @7ddc17a3,engine 0.1.48,--spec 4 --mtp rt --kv int8,strata_bench suite 1:short chat decode 176.3(142.3–221.4,9 次中位数);agent 跟进 188.7;预填 4K 4,723 / 16K 6,442。2026-11-13 samykoka 同组合复测(RTX 5090 + Ryzen 9 7950X + 63.1GiB,Windows 11,Strata project 0.1.58 / engine 0.1.59,配置 262,144,strata_bench suite 1):short chat decode 173.6(151.9–208.4,9 次),agent 跟进 222.9。与主值差 1.5%,属常规复测,不改主值;issue 未附 results.json。https://github.com/Niko1221/Strata/issues/5906 | 实测 | 2026-10-25 | 链接 |
| Qwen3.8-Flash-Next | Radiance (fork) | 2× AMD R9700 32GB + 64GB DDR5 | 176 | 解码 176 tok/s,prefill 6,450 tok/s(BetterBench 截图);同一硬件的 R0 重校准容器(每卡 240W)约 160,见 comm-071 | 实测 | 2026-10-15 | 链接 |
| Qwen3.8-Flash-Next | Strata | RTX 5090 + 256GB RAM | 176 | 176 tok/s 解码;64K 时 162;5,247 tok/s prefill | 实测 | 2026-09-30 | 链接 |
| Qwen3.8-27B | TensorFold | RTX 5090 32GB | 174 | 代码 370 | 散文 174 | 结构化 634 tok/s;32K 提示首 token 12.4 s;5 提示×3 轮交错,450 W / 2200 MHz 上限;各用自家 4-bit 格式与草稿(比较的是 recipe 不是量化) | 实测 | 2026-10-13 | 链接 |
| Qwen3.8-Flash-Next | Strata | 2× RTX 3090 24GB(400W,NVLink)+ Ryzen 9 3950X + 121GB DDR4 | 173.2 | 1 个对话(greedy):无槽位构建 173.2,双槽位最佳配置 143.6;聚合(另计)2 个对话 190.4。v0.2.9 本地构建加社区补丁,非正式版;限定:Strata #5089(engine 0.1.43,2× 3090 NVLink)测得 --peer-device 比 layer split 慢(decode 0.905 倍,预填 0.768 倍),layer split 下 NVLink 不起作用,见 comm-251。2026-11-08同作者双3090/NVLink,0.1.55到带patch的0.1.58:greedy 1K/8K/128K decode163.2/177.7/153.1,总体在约±5%波动内;预填反慢5–13%(github.com/Niko1221/Strata/issues/5528)。DFlash2 144.3与normal MTP167.5是不同arm;保留主值173.2。 | 实测 | 2026-11-01 | 链接 |
| Qwen3.8-Flash-Next | Splash | Apple M4 Max 40C GPU 128GB(机型未注明) | 160.5 | 解码 Splash 160.5 / llama.cpp 42.3(3.8×);32K 读入 744.0 / 486.7;32K 缓存重发 62.6 / 58.2 ms;4 并发合计 144.8 / 89.1;Ollama 跑不起来 | 实测 | 2026-10-22 | 链接 |
| Qwen3.8-27B + Tencent DSpine K11 | NInfer | 1× RTX 5090 32GB(Windows 11) | 160.1 | NInfer Windows v1.2.5-dspine.1(fba899b,headpiece747 移植)。移植作者 release 表:英语散文单流、2,048 输出 160.1(256 输出 147.7);Python 单流 2,048 为 515.0,代码另标。8 流英语 多路合计 684.4,不作单流主值。同表 DFlash2 K9 英语 2,048 为 183.0(散文上 DSpine 约慢 12%)。作者 X 帖 “1-stream replay” 英语 179.5 为另一口径,不取作主值。上下文 8,192。公开夹具与测法。 | 实测 | 2026-11-09 | 链接 |
| Qwen3.8-Flash-Next | Radiance (fork) | 2× AMD R9700 32GB(每卡限 240W) | 160 | 1 用户约 160;8 用户不同提示合计 471;Radiance 原版约 155;17–29K 读入 5,900–6,000 | 实测 | 2026-10-23 | 链接 |
| Qwen3.8-27B | Qwentin | 1× RTX 5090 | 158.3 | code 158.3,prose 139.2(greedy);聚合(另计)8 请求 332.2 | 实测 | 2026-10-26 | 链接 |
| Qwen3.8-Flash-Next | Strata | 1× RTX 5090 | 157.8 | 188K 深度:Strata 解码 157.8,FreeToken 55.0;预填 7,290 vs 6,903(3 次中位,512 输出,temp 0) | 实测 | 2026-10-25 | 链接 |
| Qwen3.6-35B-A3B | llama.cpp | RTX 5090 笔记本 | 157 | Q4:157 tok/s(与 x-063 同卡同任务) | 实测 | 2026-10-15 | 链接 |
| Qwen3.8-Flash-Next | Strata | Mac Studio M5 Ultra 96GB(macOS 27.2,iogpu.wired_limit_mb 86016) | 153.8 | Strata v0.2.13(37d5c9e 源码构建)/ engine 0.1.59-metal。标准协议 short 中位:IQ3_S + DFlash2 为 153.8(4K/16K decode 137.1/130.9)。同机默认 MTP IQ3_S 146.2;UD-Q3_K_XL v3.1 驻留 132.8;UD-IQ4_XS-v31 默认 SSD 流式 65.8,STRATA_METAL_STREAM=0 强制驻留 129.3。上下文 65,536。各臂 21/21,sanity 12/12。Unsloth Dynamic v3.1 文件版本写入描述,不同后端不可比。results/config/outputs 公开。 | 实测 | 2026-11-09 | 链接 |
| Qwen3.8-Flash-Next | Strata | RTX 5090 32GB(600W)+ 128GB DDR5-6000 + Core Ultra 7 270K Plus(Windows 11) | 153.3 | 原生中位(每上下文 3 次,256 输出,greedy,零复用):4K 153.3 / 32K 155.1 / 128K 143.1 tok/s;同机同日 Infernix Dense8 133.6 / 144.0 / 147.2(comm-046) | 实测 | 2026-10-18 | 链接 |
| Qwen3.8-Flash-Next | Basalt | RTX 5080 16GB + Core Ultra 9 285K + 62GB DDR5-6800 | 153 | Basalt,int8 KV:TG 平均 agent 会话 153.0 / 上下文扫描 154.9(标题 250 是单秒峰值);PP 平均 5,011 / 5,475 | 实测 | 2026-10-25 | 链接 |
| Qwen3.8-27B | TensorFold | 1× RTX PRO 4500 Blackwell 32GB(200W,双槽涡轮) | 153 | 153(作者说约为 5090 最新排行榜结果的 54%) | 实测 | 2026-10-30 | 链接 |
| Qwen3.8-Flash-Next | Strata | RTX 5080 16GB(LACT 调频,360W)+ Core Ultra 9 285K + 64GB DDR5-6400 + PCIe 5.0 NVMe | 150 | strata_bench --long:短对话解码 150.0(126.7–170.2,n=9);读入 4K 3,755 / 16K 4,396 / 32K 4,412;agent 会话缓存命中 69.5%,每轮首 token 0.97 s,解码 150.3;显卡非默认设置,原厂卡可能略慢 | 实测 | 2026-10-21 | 链接 |
| Qwen3.8-Flash-Next | vLLM | RTX PRO 6000 Blackwell 96GB @ 600W + 96GB DDR4 + Ryzen 5 5600X | 150 | 解码均值 ~150 tok/s(博客 sweep mean;MTP 2) | 实测 | 2026-10-15 | 链接 |
| Qwen3.8-Flash-Next Uncensored | Infernix | RTX 5090 32GB + 189.6GB RAM + 9950X(Windows) | 149 | 262K:解码 149.0 / 冷 prefill 3,548;512K(YaRN 2):137.0 / 3,497 tok/s(3 次中位) | 实测 | 2026-10-10 | 链接 |
| Qwen3.8-27B-NVFP4-MTP | llama.cpp | RTX 5090 32GB + Ryzen 7 9800X3D + 64GB RAM(Windows) | 148.3 | LOW + MTP(--spec-draft-n-max 4,KV q8_0,192K):9 个提示平均 148.3 tok/s,峰值 203,MTP 接受率 49.0%,显存 25.0 GiB;VERY-HIGH(BF16 head)+ MTP 平均 111.9 tok/s(峰值 139) | 实测 | 2026-08-14 | 链接 |
| Qwen3.8-Flash-Next-abliterated (SC117) | Strata | 2× RTX 4090 24GB 层切分(450W 上限)+ i9-14900K + 123GB(Linux,团队共用) | 147 | Strata v0.2.12(engine 0.1.58,release tag 123bad4)。--max-context 300000(YaRN 1.1444),--kv int8 --kv-resident 32768,--spec 4,2 槽 pipelined。加 --mtp-q4 all 与 4 个精确内核开关后,空闲时单请求 decode 147.0/157.5/160.9,取最低 147.0 作主值。再加 --lookup-chain 3(现用配置)单样本 150.3;--batch-mtp --batch-groups 1 单请求 173.3,但已回退,只作备注。2 请求同时每请求 74.7–87.4,不作单流主值。逐次 runs-*.log 与配置副本在 PR。测于 2026-11-09/10。 | 实测 | 2026-11-10 | 链接 |
| Qwen3.8-27B | vLLM | RTX 5090 32GB | 147 | 147 tok/s 解码(mia-ai.net 列约 160) | 实测 | 2026-08-15 | 链接 |
| Qwen3.8-Flash-Next | Strata | RTX 5070 12GB + i7-12700K + 64GB DDR4(Linux) | 141.3 | Strata 0.2.10(engine 0.1.56),9 个 prompt,温度 0,max_tokens 192:128.3–169.4,总体 141.3;draft 接受率 76.9%;专家命中率约 95%。同作者同5070/i7-12700K主机0.2.10到0.2.12,结论无稳定改善;0.1.58、192000上限、MTP spec12/lookup3下短chat128.9,agent133.8,实际短prompt约46、输出100(github.com/Niko1221/Strata/issues/5537)。未做正确性检查,不宣传普遍提升,不改141.3主值。 | 实测 | 2026-11-03 | 链接 |
| Qwen3.8-Flash-Next | oMLX | Mac Studio M5 Ultra 256GB | 141 | oMLX 自带 bench(代码上下文):pp1024/tg128 tg 141.0、pp 3,906;pp8192 tg 134.1、pp 4,475;聚合(另计)2× 222.5 / 4× 316.4 | 实测 | 2026-10-24 | 链接 |
| Qwen3.8-Flash-Next | Splash | Mac Studio M5 Ultra 96GB | 140 | 真实 coding agent 长上下文(约 230–240K)中:Q2_0 写入 140,IQ3_S 132,IQ3_XXS 129,UD-IQ4_XS 79;oMLX 自带引擎 oQ3.5e 90;27B UD-Q4_K_M 92。速度含思考 token。Bug Search Hard 准确率 IQ3_S 和 UD-IQ4_XS 都是 53% | 实测 | 2026-10-29 | 链接 |
| Qwen3.8-27B | qwen38-megakernel | 1× RTX 3090 24GB | 138.5 | 采样(思考开,温度 1.0,8 次)138.5(同卡 llama.cpp 最佳 72.8);greedy 代码 232.9 / 散文短篇 90.8;100K 上下文 109.2(llama.cpp 54.4);261K 深处 66.6;不开草稿短提示仍快 7.5%;任意草稿数 greedy 输出相同;聚合(另计)4 个 agent 382(llama.cpp 137)。2026-11-07 同作者新表(v2026.11.05,默认 7 draft,q8_0 KV):短 greedy 166.5、采样思考 146.9、101.6K 实填 116.4;4-agent 聚合 424(另计)。preset F 为 160.7 / 147.4 / 123.2,会改变输出,不可与 q8_0 混用。相对 llama.cpp b12024 自身 no-draft,greedy 输出 113/282 有变化(分数 231→229,6 题正误翻转);作者引擎自身 draft/no-draft 为 0 差异,不代表与 llama.cpp bit-identical。tok_s 仍取原先采样思考 138.5 | 实测 | 2026-11-02 | 链接 |
| Qwen3.8-Flash-Next | Strata | 1× RTX 3090 Ti 24GB + Threadripper 3990X + 128GB DDR4 | 138 | decode 约 138–140 | 实测 | 2026-11-01 | 链接 |
| Qwen3.8-27B | SGLang | 2× Radeon AI PRO R9700 32GB(235W 上限)+ Threadripper 9960X + 64GB(Arch,K3s) | 135.1 | SGLang 0.5.23.post957 @fcb32746 + 本地 27 补丁(PyTorch 2.16.0a0,ROCm 10.3.0-dev / HIP 7.18)。共享档(UQS)BetterBench 单路 output decode 135.1 作主值;资格记录公开写出该数。配置的每路上下文上限是 81,888,不是 KV 池 163,840。2 路合计 224.8,不作单流主值。交互聊天探针约 86 是另一负载,另标。11-11 未写版本的 C1 约 139(135–145)只作备注,不改主值。配方仓库与资格 JSON 公开。 | 实测 | 2026-11-11 | 链接 |
| Qwen3.8-Flash-Next | Infernix | RTX 5090 32GB(600W)+ 128GB DDR5-6000 + Core Ultra 7 270K Plus(Windows 11) | 133.6 | 原生中位(每上下文 3 次,256 输出,greedy,零复用):4K 133.6 / 32K 144.0 / 128K 147.2 tok/s;首字比 Strata NVFP4 早 0.4–0.9 s(comm-045) | 实测 | 2026-10-18 | 链接 |
| Qwen3.8-27B | vLLM | 4× RTX 3090 24GB(gpu-unlock 解锁 fp32 累加) | 131.9 | TP4:1 请求 131.9(解锁前 128.5);8 请求合计 571.7(解锁前 448);约 60K 提示 38.6 | 实测 | 2026-10-23 | 链接 |
| Qwen3.8-Flash-Next | SGLang | 2× AMD R9700 32GB | 130.6 | 顺序 130.6;1/2/4/8 并发合计 147.3 / 238.2 / 268.9 / 374.9;ROCm TP=2 自定义 kernel | 实测 | 2026-10-23 | 链接 |
| Qwen3.8-Flash-Next | TensorFold | 1× DGX Spark | 130.1 | Mia recipe 新版(NVIDIA FP4 QAD 默认):代码单流峰值 130.8(3 次平均 130.1),思考关;关 MTP 草稿约 25.5;聚合(另计)2 路 186.6 / 4 路 288.1 | 实测 | 2026-10-28 | 链接 |
| Qwen3.8-Flash-Next | TensorFold | Mac Studio M3 Ultra | 130 | 峰值 130 tok/s(0.3.4 为 128) | 实测 | 链接 | |
| Qwen3.8-Flash-Next | Strata | 2× RTX 5070 Ti 16GB(PCIe 5.0 x8/x8)+ Ryzen 9 9950X + 128GB DDR5-6000 | 129.4 | standard-v1,双卡 --gpus 0,1:IQ3_S 短 decode 129.4 / 16K decode 116.2,预填 4K 2,322 / 16K 3,823;UD-IQ4_XS 81.9 / 87.6,预填 16K 3,734;12/12 sanity;限定:Strata 0.2.10 起 Auto 默认改用 DFlash2;双卡 decode 可能弱于 MTP 或弱于单卡(Strata #5206 双 4060 Ti 上 DFlash2≈MTP;#5172 双 RX 9070 比单卡慢 10–50%) | 实测 | 2026-10-28 | 链接 |
| Qwen3.8-Flash-Next | Strata | 4× RTX 3090 24GB (320W/card, no NVLink) + Threadripper 3990X + 251.5GiB RAM | 127.4 | Strata v0.2.12(146df3c4),engine 0.1.58 CUDA13 源码构建,S=setup 默认档:128K、batch3、int8 KV、MTP。标准协议 short 单流 decode 中位 127.4(run2 ±2%);4K/16K decode 128.3/127.9,预填 1921/3219。PT 未合并补丁短 decode 154.3 不作主值。c4 多路合计 198/202/196,16 用户短 多路合计 539.0(C 档),均不作单流主值。21/21 请求,sanity 12/12;6 份 results/outputs/engine.log 公开。 | 实测 | 2026-11-09 | 链接 |
| Qwen3.6-35B-A3B | MLX | Mac Studio M5 Ultra 256GB | 126 | mlx_lm.server(mlx-lm 0.31.3,mlx 0.32.2),5 次中位(另 1 次预热),输出上限 128,温度 0,关闭思考:512 提示 126.0(M3 Ultra 512GB 86.3);32K 提示 109.1(M3 Ultra 71.5)。tok_s 取 512 提示值 | 实测 | 2026-09-20 | 链接 |
| Qwen3.8-Flash-Next 4/8-bit | mlx-serve | Mac Studio M5 Ultra 256GB | 126 | 1k 上下文:生成 126 t/s,预填充 >4,500 t/s | 实测 | 2026-10-03 | 链接 |
| Qwen3.8-27B | elpis (ExLlamaV3 patch) | RTX 3090 24GB(350W) | 125.7 | elpis(ExLlamaV3 补丁服务端):decode 1K–262K 125.7,预填 8K–262K 1,220.7;GSM8K 40 题 205.3。int8 注意力会改变输出(有损);无损版是 gildrb/elpis-lossless(decode 82.7) | 实测 | 2026-11-03 | 链接 |
| Qwen3.8-Flash-Next | Strata | RTX 3090 Ti 24GB + i9-12900KF + 64GB 内存(Windows 11) | 124 | Strata 0.1.49.2 @7dd5cf18,engine 0.1.47,strata_bench --long:short chat decode 124.0(99.2–148.1);agent 跟进 138.1;预填 4K 2,251 / 16K 2,833 / 32K 2,806 | 实测 | 2026-10-25 | 链接 |
| Qwen3.8-Flash-Next | Strata | RTX 5090 | 123.4 | 123.4 tok/s 实时;完整跑 115+ | 实测 | 链接 | |
| Qwen3.6-35B-A3B | oMLX | MacBook Pro 14 M3 Max 36GB | 122.9 | oMLX 0.7.2,持续 256 token 散文 3 次中位数:122.9(Kapitsa 122.7,Rapid-MLX 110.3,Splash 97.0,MTPLX 79.9) | 实测 | 2026-10-24 | 链接 |
| Qwen3.8-Flash-Next | Strata | 2× RTX 3090 24GB(NVLink NV4)+ Threadripper PRO 3945WX + 128GB 八通道 DDR4(ThinkStation P620) | 121.8 | engine 0.1.43,layer split 对 --peer-device:8K 思考关 decode 121.8 对 112.0;32K 115.8 对 110.0;100K 107.4 对 98.2;peer 模式 decode 为 0.905 倍、预填为 0.768 倍(100K 约 0.65 倍)。layer split 下 NVLink 流量为 0。结论与旧 issue #204 相反 | 实测 | 2026-11-03 | 链接 |
| Qwen3.8-Flash-Next | Strata | 1× RTX 5070 12GB + i7-12700K + 64GB DDR4(Linux,PCIe gen5) | 121 | Strata 0.2.11 / engine 0.1.57:strata_bench 短 chat decode 中位 106.6(96.4–169.3);mtp-bench-3 九题总体 server_decode 121.0(单题 106.2–144.1,接受率 82.4%);预填 4K 2,257 / 16K 2,629。CPU/GPU 降压。注:Unsloth Dynamic 文件版本与其他后端不可直接比。tok_s 取 mtp-bench 总体 121 | 实测 | 2026-11-06 | 链接 |
| Qwen3.8-27B | DFlash | RTX 4090 24GB | 121 | GSM8K 181;真实提示 146;散文 121;32K 58 / 131K 35 tok/s | 实测 | 链接 | |
| Qwen3.8-Flash-Next | Strata | 单 RTX 3090 24GB + 64GB RAM(RAM 见同作者前帖) | 120.8 | 120.8 tok/s 实时;2,000 PP;同作者同日稍早一帖:新版 Strata 发布后解码 72(128K,单 3090,x.com/needmorevram/status/2104898095318544540) | 实测 | 链接 | |
| Qwen3.8-Flash-Next Uncensored | Strata | RTX 5090 32GB + 189.6GB RAM + 9950X(Windows) | 120.6 | 262K:解码 120.6 / 冷 prefill 1,550;512K(YaRN 2):126.3 / 3,045 tok/s(3 次中位) | 实测 | 2026-10-10 | 链接 |
| Qwen3.8-Flash-Next | Strata | 2× RTX 3090 (48GB) + 64GB DDR5-6000 | 120 | 持续解码 120+ tok/s,峰值 153.4;冷 prefill 2,844 tok/s(191K),峰值 3,113 | 实测 | 2026-10-11 | 链接 |
| Qwen3.8-Flash-Next | Strata | 2× Tesla V100 32GB PCIe(无 NVLink) | 120 | 最高 120 tok/s 解码,2,000 tok/s prefill(llama.cpp 30 / 120) | 实测 | 2026-10-09 | 链接 |
| Qwen3.8-Flash-Next | Strata | 2× RTX 3090 + Ryzen 7 9700X + 128GB DDR5 | 117.5 | Strata 0.1.48.1 @7ddc17a3(engine 0.1.48),--spec 4 --mtp rt:短对话 117.5(85.9–134.7,9 次中位数);预填 4K 1,292 / 16K 2,416;agent 续轮 120.8;限定:Strata 0.2.10 起 Auto 默认改用 DFlash2;双卡 decode 可能弱于 MTP 或弱于单卡(Strata #5206 双 4060 Ti 上 DFlash2≈MTP;#5172 双 RX 9070 比单卡慢 10–50%) | 实测 | 2026-10-24 | 链接 |
| Qwen3.8-27B | llama.cpp | RTX 5090 32GB | 116 | 代码 186 | 散文 116 | 结构化 200 tok/s;32K 提示首 token 12.5 s;5 提示×3 轮交错,450 W / 2200 MHz 上限;各用自家 4-bit 格式与草稿(比较的是 recipe 不是量化) | 实测 | 2026-10-13 | 链接 |
| Qwen3.8-27B | ExLlama | RTX 5090 32GB | 114 | 代码 258 | 散文 114 | 结构化 366 tok/s;32K 提示首 token 10.4 s;5 提示×3 轮交错,450 W / 2200 MHz 上限;各用自家 4-bit 格式与草稿(比较的是 recipe 不是量化) | 实测 | 2026-10-13 | 链接 |
| Qwen3.8-27B | oMLX | MacBook Pro M5 Max 48GB | 110.2 | oMLX 0.7.2,代码上下文,每格生成 128 token:tg pp4K 93.8 / pp16K 189.4 / pp64K 110.2(取三格中位数 110.2;标题的 189 只是 16K 那一格);聚合(另计)2× 413.7 / 4× 407.0 | 实测 | 2026-10-25 | 链接 |
| Qwen3.8-Flash-Next | Speedy | 1× RTX 4090 + Ryzen 9 7950X + 128GB DDR5 | 110 | 60K 上下文 decode:Speedy 110.0 / Avalon 102.5 / Strata 75.0;冷预填 Speedy 4,389 / Avalon 2,678;198K 时 Speedy 104.3 | 实测 | 2026-11-01 | 链接 |
| Qwen3.8-Flash-Next | Strata | 1× Radeon AI PRO R9700 32GB + Ryzen 7 7800X3D + 128GB DDR5 | 109.9 | 32K 矩阵测试:生成 109.9,提示 2,321.5;短计数任务 146.0;12 个任务加权 119.37,12/12 通过 | 实测 | 2026-11-02 | 链接 |
| Qwen3.8-Flash-Next | Strata | RTX PRO 4500 32GB + RTX PRO 4000 24GB,HP Z820(2× Xeon E5-2697 v2) | 108.7 | engine 0.1.55:双卡 decode 108.7(只用 PRO 4500 为 61.3);16K 提示 2,581。CPU 无 AVX2 | 实测 | 2026-10-31 | 链接 |
| Qwen3.8-Flash-Next | Strata | RTX 5070 Ti 16GB + Ryzen 9 5950X + 92GB RAM(Linux) | 108.7 | Strata 0.1.52(engine 0.1.52),strata_bench suite 1:短 decode 108.7(91.7–131.7);agent 跟进 127.9;预填 4K 2,320 / 16K 3,178 | 实测 | 2026-10-28 | 链接 |
| Qwen3.8-Flash-Next | llama.cpp | RTX PRO 6000 Blackwell 96GB @ 600W + 96GB DDR4 + Ryzen 5 5600X | 108 | 解码均值 ~108 tok/s(博客 sweep mean;MTP 3) | 实测 | 2026-10-15 | 链接 |
| Qwen3.8-27B | Splash | Apple M4 Max 128GB(机型未注明) | 102.9 | 同一文件:解码 Splash 102.9 / llama.cpp 20.6(加多 token 预测 28.1)/ Ollama 22.2;32K 读入 332.5 / 159.5(155.3)/ 158.9;32K 缓存重发 265.4 / 136.5(134.3)/ 381.7 ms;4 并发合计 107.1 / 25.8(62.9)/ 13.0 | 实测 | 2026-10-22 | 链接 |
| Qwen3.8-27B | TensorFold | 1× Intel Arc Pro B70 32GB (230W) | 102.47 | TensorFold1.2.4原生Intel Level Zero加ocloc兼容patch;MLX4bit目标rev22d8d538,z-lab DFlash2,bf16 KV。card1独立单流,230W,greedy、thinking off、无前缀缓存,512输出、2次。主散文输入52 tokens为102.47;7963/32540/130846输入为67.82/27.55/10.23。短code128.26另列。双卡主机但不是TP2。与EXL3对照同作者同源,不算独立复测。 | 实测 | 2026-11-08 | 链接 |
| Qwen3.8-Flash-Next | Strata | RTX 4080 SUPER 16GB + Ryzen 9 7950X3D + 64GB RAM(Windows 11) | 102.1 | chat:IQ3_XXS 102.1,IQ3_S 95.6,Swift IQ3_XXS 109.8;agent:107.8 / 101.2 / 112.3;作者注 short 波动约 ±30%;限定:同卡 Windows 上 Strata 0.2.11 / engine 0.1.57 相对 0.1.56 变慢(#5328);本条为 0.1.5x 时代测值,未改 tok_s。2026-11-10同作者同机 Strata v0.2.13 / engine 0.1.59(SHA 校验):IQ3_XXS@262K short chat 95.0、IQ3_S@131K 91.4、Swift 1.5 IQ3_XXS@262K 101.0(tools/strata_bench.py,thinking off)。上下文与旧测 128K 不同,且作者自注 short 波动约 ±30%,不改 102.1 主值。 | 实测 | 2026-10-26 | 链接 |
| Qwen3.8-Flash-Next | Strata | 1× RTX 5080 16GB + 128GB RAM(Windows) | 101.8 | 262K 提示测试:258K 深度 decode 101.8,没有降速或卡顿;没有溢出到 Windows 共享 GPU 内存;256K 深度的针测 4/4 通过 | 实测 | 2026-11-01 | 链接 |
| Qwen3.8-Flash-Next | Strata | 1× RTX PRO 4000 Blackwell 24GB(145W)+ Threadripper 7970X + 128GB DDR5-4800(Linux) | 101.4 | Strata v0.2.13.1(628f74955a56)/ engine 0.1.59.1,Linux 源码构建。标准协议,21/21,12/12 健全性。128GB 实机短 decode 中位 101.4 作主值;模拟 64GB RAM 臂 73.1 另标(约慢 30%)。上下文 131,072,int8 KV,MTP --spec 4。n=3。 | 实测 | 2026-11-10 | 链接 |
| Qwen3.8-Flash-Next | Strata | 1× RTX 5080 16GB | 101 | Strata 0.2.8:95K 上下文 decode 101(4 次中位数);95K 提示读入 27 秒,热重读 0.1 秒;MTP +10–18%;CPU worker 7→4 无变化,2 个时 −11% | 实测 | 2026-11-02 | 链接 |
| Qwen3.8-Flash-Next | Strata | AMD Radeon AI PRO R9700 | 100 | 解码 ~100 tok/s,峰值 128(PR 前 58);prefill ~1,800;TTFT 5.5 s @8.7K | 实测 | 2026-09-30 | 链接 |
| Qwen3-Coder-30B-A3B | llama.cpp | Intel Arc Pro B60 24GB(Windows 原生) | 99.2 | llama-bench:tg 99.2,pp 788.8;同卡 WSL2 + Mesa Dozen 只有 tg 2.5 / pp 34。Ornith 1.5 9B Q8_0 tg 36.2(WSL2 4.1);Qwen3.8-27B Q4_K_M tg 15.6(WSL2 下段错误) | 实测 | 2026-10-30 | 链接 |
| Qwen3.8-Flash-Next | llama.cpp (tandem.cpp fork) | 1× RTX 4090 24GB + i5-12400F + 64GB DDR4 | 97.3 | GSM8K greedy decode:tandem.cpp 97.3,llama.cpp 29.8,Strata 精确模式 103.6(Strata 默认近似模式 127.1);默认采样 96.1。gpt-oss-120b greedy 51.5(llama.cpp 27.8)。64K 提示处理快 1.4–1.8 倍 | 实测 | 2026-11-01 | 链接 |
| Qwen3.8-Flash-Next | oMLX | Mac Studio M3 Ultra | 97.1 | 97.1 tok/s 解码;~1,131 PP(未缓存) | 实测 | 链接 | |
| Qwen3.8-Flash-Next 4-bit | oMLX | Mac Studio M3 Ultra | 97.1 | 23k 上下文整体解码 97.1 tok/s;无缓存预填充约 1,131 tok/s | 实测 | 2026-09-13 | 链接 |
| Qwen3.6-35B-A3B | vLLM | 1× DGX Spark | 95 | 单会话 95 tok/s;8 会话 317 tok/s | 实测 | 2026-07-29 | 链接 |
| Qwen3.8-Flash-Next | Strata | 1× RTX 5060 Ti 16GB + 61GB RAM | 95 | 约 100K 上下文内 decode 约 95–106;热缓存重读约 0.2 秒;Basalt 预填快 35%,Strata decode 快 15%;显存 15.8/16 GB;限定:另一位 5060 Ti 16GB 测试者升级到 Strata 0.2.10(engine 0.1.54 → 0.1.56,UD-IQ4_XS)后慢 4–7%:会话 32.1 → 30.3,agent 生成 39.5 → 38.1(x.com/yutacar/status/2117447921100833121) | 实测 | 2026-11-01 | 链接 |
| Qwen3.8-27B + DFlash2 | inferd | Mac Studio M5 Max 128GB | 93.9 | 11-09 窗口补录(当日漏收)。inferd 0.4.1 macos27 预构建(BUILD-INFO 4ad756ad)。conc.py followup,greedy,thinking off:16K 上下文负载、N=1 单流 decode 93.9 作主值(端到端 90.4;推文取整为 90)。N=4/8/16 多路合计 221.0/266.0/314.7,不作单流主值。配置 max_ctx=147456。release_gate PASS;agents_at_once 8×4K 与 16×16K 均 PASS。原始 jsonl 公开于 issue。同步 X:x.com/yossy_lexiq/status/2119679429500973444。 | 实测 | 2026-11-09 | 链接 |
| Qwen3.8-Flash-Next Uncensored | Strata | RTX 5070 Ti 笔记本 12GB + Ryzen 9 9955HX + 64GB DDR5-5600(Windows 11) | 92.5 | Strata engine 0.1.46,--kv int8 --spec 4 MTP:decode 中位数 92.5 / 90.2 / 97.2(396 / 4,187 / 32,857 token 提示,各 3 次);预填 376–978 | 实测 | 2026-10-24 | 链接 |
| Qwen3.8-Flash-Next(去拒答) | Strata | RTX 3090 24GB(300W)+ 41GiB RAM(专家放系统内存) | 91 | 单卡 4K 91–102 / 32K 99–101 / 131K 100–103;prefill 0.9–1.6K;同机 IQ3_S GGUF 74–84;质量数据(KL 0.040)由 Mirai 提供,作者未复核;2026-11-02 同一测试者:32K 和 130K 都是 88,32K 预填 1,932;双卡 123(x.com/superalesha/status/2117135114081837264) | 实测 | 2026-10-20 | 链接 |
| Qwen3.8-Flash-Next | Strata | 1× RTX 3090 + 64GB DDR4 | 90.7 | 同一台机器 engine 0.1.45 → 0.1.56:decode 69.6 → 90.7(+30%);agent decode 85.2 → 121.5;首 token 3.56 → 2.61 秒;预填不变;同卡档 Strata 0.2.10:web-admin-master 短 prompt decode 97–100(从 0.1.40.1 的 69–79 提升),但读约 64K prompt 时整机硬重启 3 次,回退 0.1.40.1 后正常(Strata #5241) | 实测 | 2026-11-03 | 链接 |
| Qwen3.8-Flash-Next | Strata | 1× RTX 4070 Ti SUPER 16GB(Windows) | 90.6 | Strata 0.2.8 / engine 0.1.54:短 decode 90.6;4K 82.3;16K 94.1;预填 1,799 / 2,422 | 实测 | 2026-10-29 | 链接 |
| Qwen3.8-Flash-Next | Strata | 1× RTX 5080 16GB + Ryzen 7 7800X3D + 127.4GiB RAM(Windows) | 90 | Strata v0.2.13.1 / engine 0.1.59,源码构建,commit 628f7495。strata bench run 标准协议,21/21 请求完成,12/12 健全性检查。短对话单流 decode 中位作主值。IQ2_XS + DFlash2:短(约 80 token)decode 中位 90.0(89.6–116.2)。本跑使用 --kv-resident 32768(KV 流式,与同机另外三份整段 int8 KV 驻留不同);正文未写 --max-context,上下文设置不填。results.json 在 PR。 | 实测 | 2026-11-10 | 链接 |
| Qwen3.8-27B | TensorFold | MacBook M5 Pro 64GB | 89.9 | 89.9 tok/s(约 1.9× mlx-serve、2.4× oMLX) | 实测 | 2026-09-27 | 链接 |
| Qwen3.8-Flash-Next | Strata | 1× RTX 5080 16GB + Ryzen 7 7800X3D + 127.4GiB RAM(Windows) | 89.6 | Strata v0.2.13.1 / engine 0.1.59,源码构建,commit 628f7495。strata bench run 标准协议,21/21 请求完成,12/12 健全性检查。短对话单流 decode 中位作主值。IQ3_XXS + DFlash2(--spec 6,无 MTP):短 decode 中位 89.6(81.1–101.2)。配置 --max-context 262144,int8 KV。与同机 IQ3_S(comm-327)、UD-Q4_K_XL、IQ2_XS 量化不同,单列。results.json 在 PR。 | 实测 | 2026-11-10 | 链接 |
| Qwen3.8-Flash-Next | Strata | AMD Radeon PRO W7800 48GB + RX 7900 XTX 24GB + Ryzen 5 7600 + 64GB DDR5-6400 | 88.9 | 默认安装解码 71.5;开 SPLIT_OVERLAP+decode 开关后 88.9(输出逐字相同);再开 PF_FUSED+PF_GEMM 仍 88.9,28K prefill 1,155→2,012(摘要略变,数学基准仍 20/20);双客户端合计增益仅约 5% | 实测 | 2026-10-19 | 链接 |
| Qwen3.8-Flash-Next | Strata | RTX 5060 Ti 16GB(PCIe 5.0 x8)+ RTX 3060 12GB(芯片组 PCIe 4.0 x4)层切分 + Core i5-14400F + 62.6GB DDR5(Linux) | 87.9 | Strata 0.1.59.1(0.2.13.1)+ 3 个未入 main 的 conversation-cache 提交(作者称不触及预填/decode 路径)。配置 262,144,int8 KV,层界 17。reasoning decode(MTP,--spec 4)中位 87.9(75.8–88.1)作主值;同设置短 decode 75.2。DFlash2 reasoning 77.6 另标。作者写 3060 使用 gpu-unlock 1.0.0,按仓库惯例打 gpu-unlock 标签。逐 run jsonl 在 PR。 | 实测 | 2026-11-12 | 链接 |
| Qwen3.8-27B | llama.cpp | 1× RX 7900 XTX 24GB eGPU(PCIe 3.0 x4,291W)+ Ryzen 3 3250U 笔记本(2 核 / 4 线程)+ 9GB RAM(Mesa RADV) | 87.4 | 窗口外补录(测于 2026-10-19,11-11 发帖;今次 Jebbyk1 写明同 fork 提交 370042c,仓库 BENCHMARKS.md 则写明本次测量构建为 8a0b44bdd)。叉作者第一手。配置 -c 220000。16K 提示 decode 87.4(原始 87.43)作主值;32K 88.8 / 128K 69.1 / 200K 66.2 另标。命令、方法与 docs/rdna3/results/ 原始 json 公开。主机是弱规格笔记本经 PCIe 3.0 x4 接 eGPU,不是桌面 x16。 | 实测 | 2026-10-19 | 链接 |
| Qwen3.8-Flash-Next | Strata | RTX 5080 16GB + 2× Xeon Platinum 8176 + 251GB RAM(Unraid/Ubuntu 24.04) | 87.2 | Strata 0.2.3-cuda13,engine 0.1.48,standard-v1:IQ3_S 短 87.2 / 4K 84.0 / 16K 78.7,预填 16K 1,911.8;IQ3_XXS 99.3 / 97.6;NVFP4-QAD 57.4 / 53.3(top-1 与 IQ3_S 一致 86.97%);Qwen3.6-35B-A3B UD-Q4_K_XL 143.3(q36 包缺 K-quant 预填内核) | 实测 | 2026-10-28 | 链接 |
| Qwen3.8-Flash-Next | Strata | 1× RTX 5070 Ti 16GB(300W)+ Core Ultra 9 285K + 128GB RAM(Windows 11) | 87.2 | v0.2.9 + PR #4951/#4952,262K 上下文:短对话 decode 87.2;agent 会话 111.0;预填 4K 2,717 / 16K 3,309 | 实测 | 2026-11-02 | 链接 |
| Qwen3.8-Flash-Next | Strata | RTX 4090 24GB + 64GB DDR5-5800 + i9-14900K(模型在 SATA SSD) | 87 | 短提示解码 87–98 tok/s;36K 针测 prefill 2,000 / 解码 94;136K 针测 prefill 2,850 / 解码 92;专家缓存命中约 91%;同卡对照 IQ2_XS 140–160、IQ3_S 110–126 | 实测 | 2026-10-18 | 链接 |
| Qwen3.8-Flash-Next | Strata | RTX 3090 24GB + i9-10900K + 64GB 内存(Windows 11) | 86.9 | Strata 0.1.48.1,engine 0.1.48,k8v4 KV + --kv-grow,512K 上下文:short chat decode 86.9;agent 跟进 94.4;预填 4K 1,102 / 16K 1,675。engine 0.1.50 复测:86.9→99.0(跨天,区间重叠)。7 组 A/B 中只有 STRATA_PF_FUSED=1 超出噪声(16K 预填 +3.6%) | 实测 | 2026-10-25 | 链接 |
| Qwen3.8-27B | llama.cpp | AMD RX 7900 XTX | 85.4 | 41.0 → 85.4 tok/s(Linux ROCm 36.3→62.6) | 实测 | 链接 | |
| Qwen3.8-Flash-Next | Strata | 1× RTX 5070 12GB + i7-12700K + 64GB DDR4(Linux,PCIe gen5) | 85.3 | Strata 0.2.13 / engine 0.1.59,CUDA 13,CPU/GPU 降压。tools/strata_bench.py suite 1:short chat 单流 decode 中位 85.3(74.6–124.9)。agent 跟进 89.1。mtp-bench-3 九题 server_decode 95.0(接受率 88.25%)另标,不作覆盖。上下文 131,072,int8 KV,dflash2 spec=6。与同机 comm-273(UD-IQ2_XS 121)和 comm-253(GSQ-RCO IQ3_XXS 141.3)量化不同,单列。速度套件未做正确性检查;bench 输出粘贴在 issue。 | 实测 | 2026-11-09 | 链接 |
| Qwen3.8-Flash-Next | Strata | 1× Radeon AI PRO R9700 32GB | 85 | Strata 0.1.44:UD-Q4_K_XL 故事 63,代码 85–88;Q8_0 故事 53–57,代码 66–74;同机 llama.cpp 16–20。tok_s 取代码下限 | 实测 | 2026-11-01 | 链接 |
| Qwen3.8-Flash-Next-Coder | Strata | 1× Intel Arc Pro B70 32GB + Ryzen 7 7700X + 64GB RAM | 84.3 | Strata0.2.12,SYCL engine0.1.58,oneAPI2026.2,source tag146df3c46。是Coder衍生权重,不是普通Qwen3.8-Flash-Next;profile为runner常量。操作者纠正及engine日志确认一张B70,不是误识别的AMD CPU/iGPU。单槽、MTP spec6、int8 KV,上下文上限131072;短/4K/16K decode84.3/80.8/68.1,21/21请求,sanity12/12。quant/source/tokenizer revision未知。 | 实测 | 2026-11-08 | 链接 |
| Qwen3.8-Flash-Next Coder | Strata | 1× RTX 4080 16GB | 84 | 约 84(128K ctx);通过 Tailscale 给 opencode 用 | 实测 | 2026-10-29 | 链接 |
| Qwen3.8-Flash-Next Abliterated | Strata | RX 7900 XTX 24GB + 96GB DDR5-6400 + Ryzen 9 9950X(PCIe 4.0 x16,Linux) | 82.5 | 短提示(1,457 token)解码 82.5 tok/s(3 次中位)、prefill 521;98K:prefill 1,809.5 / 解码 77.4;260K(单次):prefill 1,479.6 / 解码 79.9;--pcie-frac 0.5 时解码降至 48.6 | 实测 | 2026-10-18 | 链接 |
| Qwen3.8-Flash-Next | Strata | 2× RTX 4060 Ti 16GB | 80.8 | 0.2.10 主值 80.8(MTP 散文,n=4 中位,github.com/Niko1221/Strata/issues/5206);历史:strata bench run 标准协议(自定义配置):decode 短 61.6 / 4K 51.0 / 16K 56.7;预填 4K 904.5 / 16K 1,792.3;12/12 检查通过;0.2.10(github.com/Niko1221/Strata/issues/5206,n=4 中位):MTP 散文 80.8 / 代码 84.5 / 20K 摘要 56.9;DFlash2(conf 0.5)代码 87.8、散文 77.8、摘要 55.2;预填 20K/32K/69K DFlash2 1,918/2,244/2,461;限定:0.2.10 起 Auto 默认 DFlash2;本机 DFlash2 与 MTP 接近(见上表),不是大回退 | 实测 | 2026-11-04 | 链接 |
| Qwen3.8-Flash-Next | Strata | 3× Tesla V100 16GB(SXM2 转 PCIe,无 NVLink)+ 双路 Xeon E5-2697 v2 + 512GB DDR3 | 80.8 | Strata 0.2.10:1,337 次真实请求 decode p50 80.8(平均上下文 98K);7K 时 81.5,95K 时 85;95K 预填 3,110。GPU2 无 peer。tok_s 取 p50 80.8 | 实测 | 2026-11-05 | 链接 |
| Qwen3.8-Flash-Next | Strata | RTX 4090 24GB + 128GB 内存 | 80.3 | Strata Mnemosyne 分支(基于 0.1.48.1,服务端记忆开着,每个提示都带一段前缀),engine 0.1.48,--kv int8 --spec 4 MTP:short chat decode 80.3(73.7–97.9);agent 跟进 97.8;预填 7.3K 2,171 / 16K 2,636 | 实测 | 2026-10-25 | 链接 |
| Qwen3.8-Flash-Next | Strata | 1× RX 7900 XTX 24GB + Ryzen 9 3900X + 31GB RAM(Linux / ROCm 7.2.4) | 80.3 | Strata engine 0.1.57 HIP 预编译包,quick suite(非标准协议):chat decode 中位 80.3;预填 4K/16K/32K 1,051 / 1,385 / 1,381;needle 6/6@32k+128k。功耗上限从 261W 提到 321W(主要影响预填)。tok_s 取 chat 80.3。同作者同Linux/31.2GiB主机的Gyro-M TQ2_0变体,engine0.1.57、131072上限:chat75.0,4K/16K/32K预填1184/1566/1549(github.com/Niko1221/Strata/pull/5584)。自定义pack revision未知,预协议warm server;功率上限261变321W,不把预填差别都归因量化。保留IQ2_XS80.3;不挂到Windows/64GB的comm-286。 | 实测 | 2026-11-06 | 链接 |
| Qwen3.8-27B | Paiton | 1× Radeon AI PRO R9700 32GB + 64GB DDR5 迷你主机 | 80 | 单流 prose 约 80–140,代码 170–190;聚合(另计)多人约 100–140。2026-11-07 release qwen38-rocm10-vllm029-20261107-r2:新 3-bit 权重单请求 decode 165(旧权重 162);4/8 请求多路合计 355/530,不作单流主值。本行 prose 主值 80 不变。 | 实测 | 2026-10-29 | 链接 |
| Qwen3.8-Flash-Next | Strata | RTX A6000 48GB + Xeon E5-2697A v4(两颗)+ 125GB DDR4 | 80 | decode 约 71 → 80–89(STRATA_EXCHANGE_ROTATE=1);预填约 1,080 → 1,240 | 实测 | 2026-10-29 | 链接 |
| Qwen3.8-27B | Radiance | 1× Radeon AI PRO R9700 32GB | 79.6 | 解码中位 79.6(1.12.0)/79.5(加 PR #255);8 条约 500 token 回复 | 实测 | 2026-10-26 | 链接 |
| Qwen3.8-Flash-Next | Strata | 2× RTX 5060 Ti 16GB(层切分,PCIe 3.0 x8 / x4)+ 6 核 Zen 2 CPU | 79.6 | 短对话 decode 79.6;agent 轮次 92.4;预填 4K 696.5 / 16K 1,133.3 / 32K 1,371.8;会话缓存命中 69.3%;每项 3 次;限定:Strata 0.2.10 起 Auto 默认改用 DFlash2;双卡 decode 可能弱于 MTP 或弱于单卡(Strata #5206 双 4060 Ti 上 DFlash2≈MTP;#5172 双 RX 9070 比单卡慢 10–50%) | 实测 | 2026-10-29 | 链接 |
| Qwen3.8-Flash-Next | Espetero | Mac Studio M4 Max 128GB | 78.7 | 1 用户 oQ4e:不开 MTP 58.6,开 MTP 78.7(oMLX 81.1);聚合(另计)8 用户 170.7(oMLX 110.0) | 实测 | 2026-10-29 | 链接 |
| Qwen3.8-Flash-Next | Strata | 1× RTX 5080 16GB + Ryzen 7 7800X3D + 127.4GiB RAM(Windows) | 78.7 | Strata v0.2.13.1 / engine 0.1.59,源码构建,commit 628f7495。strata bench run 标准协议,21/21 请求完成,12/12 健全性检查。短对话单流 decode 中位作主值。IQ3_S + DFlash2(--spec 6,无 MTP):短 decode 中位 78.7(73.6–80.6)。配置 --max-context 262144,int8 KV。同机 0.2.13 对照短 decode 76.1/75.0/74.5,不作覆盖。results.json 在 PR。 | 实测 | 2026-11-10 | 链接 |
| Qwen3.8-Flash-Next | Strata | RTX 4090 24GB + RAM(专家 39.97GiB 放内存) | 78.6 | 78.6 tok/s 解码,887 tok/s prefill,~22GB 显存 | 实测 | 2026-09-26 | 链接 |
| Qwen3.8-Flash-Next Abliterated | Strata | V100 32GB + RTX 5060 Ti 16GB + 32GB DDR5 | 78 | 78 tok/s @32K;56 tok/s @262K | 实测 | 链接 | |
| Qwen3.5-122B-A10B | MLX | Mac Studio M5 Ultra 256GB | 77.5 | mlx_lm.server(mlx-lm 0.31.3,mlx 0.32.2),5 次中位(另 1 次预热),输出上限 128,温度 0,关闭思考:512 提示 77.5(M3 Ultra 512GB 51.3);32K 提示 65.3(M3 Ultra 42.3)。tok_s 取 512 提示值 | 实测 | 2026-09-20 | 链接 |
| Qwen3.8-Flash-Next | Strata | 1× Radeon AI PRO R9700 32GB + 1× RX 6800 XT 16GB(跨架构双卡)+ Ryzen 7 7700X + 48GB RAM(Windows 11) | 77.2 | thinking 开。自编多架构 HIP engine 0.1.57(508227b5,setup PR #4883),不是官方发行包可直接跑的跨架构切分。decode 短/4K/16K 77.2 / 68.4 / 71.8(n=9 中位);预填 4K/16K 696.3 / 1,314.9;三次冷启动。tok_s 取短 decode 77.2。2026-11-08另测UD-IQ4_XS V3.1 rev814db05,engine0.1.58自编跨架构HIP,含#5562必需修复与#4883 setup;短/4K/16K decode56.6/58.1/60.2(github.com/Niko1221/Strata/pull/5565)。与本行旧UD-IQ3_XXS 77.2不同量化,不是倒退;不改主值。stock发布包不能同时启动gfx1030与gfx1201。 | 实测 | 2026-11-07 | 链接 |
| Qwen3.8-Flash-Next | Strata | AMD Radeon AI PRO R9700 32GB(模型部分卸载到系统内存;内存容量未注明) | 75.56 | ELYZA 30 题 decode 平均 75.56(最高 96)/ prefill 约 300;Coding Hard 15 题 decode 平均 77.57 / prefill 196;45 题全部完成 | 实测 | 2026-10-21 | 链接 |
| Qwen3.8-27B | Strim | Apple M5 Max 64GB(macOS 27.0.1) | 75.34 | 4K decode 75.34;同机 rapid-mlx 50.12、mlx-vlm 32.69、mlx-lm 30.11、oMLX 33.53。每格为 2 次运行的中位数。各引擎的 MTP 和前缀缓存设置不同 | 实测 | 2026-10-30 | 链接 |
| Qwen3.8-Flash-Next Turbo Brilliance abliterated | Strata | 1× Tesla V100-PCIE-32GB(Windows 11) | 74.7 | short 74.7,4K 73.5,16K 65.9;预填 1,221 / 1,625;needle 12/12(最深 254,775 token) | 实测 | 2026-10-26 | 链接 |
| Qwen3.8-Flash-Next | Strata | 2× AMD Instinct MI50 32GB(gfx906) | 74.7 | gfx906 内核分支(PR,未合并)加新开关:代码 115.1,散文 74.7,9,927 token 提示 82.8;原版 0.2.9 加现有开关 92.3 / 60.2 / 67.0。192 token greedy,每行输出 SHA-256 相同。tok_s 取散文 | 实测 | 2026-11-03 | 链接 |
| Qwen3.8-27B | exl3xpu | 1× Intel Arc Pro B70 32GB (230W) | 74.15 | exl3xpu mixedk image sha256:933eda54...,turboderp EXL3 4.00bpw加MTP3。card1独立单流,230W,greedy、thinking off、无前缀缓存,512输出、2次,上下文上限139264。主散文输入52为74.15;7963/32539/130841输入为70.20/66.82/43.25;短code82.79另列。MTP3与无投机输出8/8不同,不能称lossless。与TensorFold同一cookbook。 | 实测 | 2026-11-08 | 链接 |
| Qwen3.6-35B MoE | oMLX | Mac mini M4 Pro 64GB | 74 | 74 tok/s | 实测 | 链接 | |
| Qwen3.8-27B | ExLlama | 2× RTX 5060 Ti 16GB | 73.1 | code 73.1,prose 68.4;32K 提示读入 996 | 实测 | 2026-10-26 | 链接 |
| Qwen3.8-Flash-Next | Strata | RTX 4070 Ti SUPER 16GB + i7-14700K + 96GB DDR4(Windows 11) | 71.7 | short chat 71.7(66.8–85.3);thinking 关,temp 0 | 实测 | 2026-10-26 | 链接 |
| Qwen3.8-Flash-Next | Strata | 2× Intel Arc Pro B70 32GB + Ryzen 7 5700G + 94GiB RAM(KVM 虚拟机,vfio 直通) | 71.7 | Strata 0.2.10(engine 0.1.56,SYCL),layer split auto,标准协议 draft.1:decode 短 71.7 / 4K 73.1 / 16K 63.3;预填 4K 880 / 16K 1,502;12/12 检查通过。快速套件:chat 57.8,16K 预填 1,697.5,draft 接受率 71.9% | 实测 | 2026-11-04 | 链接 |
| Qwen3.8-Flash-Next | ExLlama | 1× DGX Spark | 71.7 | 代码 102.6;散文 71.7;JSON 66.2 tok/s | 实测 | 链接 | |
| Qwen3.8-Flash-Next | Strata | GMKtec K8 Plus 迷你机 + 2× V100 32GB(PG500-216 SXM2 转 PCIe + V100-PCIE,各走 OCuLink Gen3 x4) | 71.5 | Strata 0.2.2,engine 0.1.47,layer split:512 token decode 双卡 64.1–71.5(1.2K 后 71.5),单卡 63.8–66.1;预填比单卡快 26–42%(10.5K–31K)。每组只跑 1 次 | 实测 | 2026-10-25 | 链接 |
| Qwen3.8-Flash-Next | Strata | 2× Quadro RTX 5000 16GB(Turing,无 NVLink,每卡 200W)+ Xeon W-2133 + 94GB RAM | 70.3 | 标准协议:decode 短 70.3 / 4K 62.3 / 16K 63.6;预填 4K 1,007.7 / 16K 1,542.5;12/12 检查通过。与 2× TITAN RTX(#3495)比:预填高约 5%,decode 低约 19%(引擎版本和卡都不同) | 实测 | 2026-10-30 | 链接 |
| Qwen3.8-Flash-Next | 未注明 | RTX 3090 24GB(EVGA FTW3)+ Xeon E5-1680 v2(2013)+ 128GB 四通道 DDR3-1866 ECC | 70 | decode 70 / prefill 1,900(作者称主要靠 3090) | 实测 | 2026-10-22 | 链接 |
| Qwen3.8-Flash-Next | Strata | 1× RX 7900 XTX 24GB + Ryzen 7 9800X3D + 91.7GiB RAM(Arch Linux) | 69.6 | Strata engine 0.1.58 本地 HIP gfx1100 构建(commit 78362ebc)。tools/strata_bench.py 快速测速(非标准协议,thinking off、温度 0),short chat 中位 69.6(59.1–77.1),波动较大。预填 4K/16K 1684.5/1902.7;agent 跟进 84.8。int8 KV,kv-resident 32768,MTP spec 4,上下文 262,144。results.json 与引擎日志节选在 PR 中公开。 | 实测 | 2026-11-08 | 链接 |
| Qwen3.8-Flash-Next | llama.cpp | RTX 5090 32GB + 系统内存(部分卸载) | 68 | 68 tok/s(无草稿模型);同提示 104.2 s;prefill 中位 4K ~1,270 / 32K ~1,355 tok/s;27 次重复 27 次一致(同 x-050 任务) | 实测 | 2026-10-14 | 链接 |
| Qwen3.8-Flash-Next | Strata | RTX 5070 12GB + RTX 5060 Ti 16GB(两张不同的 Blackwell 卡,按层切分)+ Ryzen 9 9950X3D2 + 125GB RAM(Windows 11) | 67.3 | 调优后(STRATA_ARENA_PIN_GIB=40、STRATA_STAGE_TRIM=1、层切分 K=28、西里尔字母草稿词表):俄文提示 decode 67.0,英文提示 67.3;预填 2,161。调优前 decode 46.2、预填 1,567.7。只用 STAGE_TRIM 时 53.9。每点 6 次;作者自有提示,不是 strata bench。tok_s 取英文值;2026-11-02 同一测试者扫了 engine 0.1.47–0.1.55(NVFP4 GPTQ,262K):decode 66.6–70.0,预填约 2,930–2,972,版本之间没有可测差异(Strata #4996) | 实测 | 2026-10-27 | 链接 |
| Qwen3.8-27B-SLQ-EAR98 | vLLM | 1× RTX 5090 | 67.2 | code 67.2,prose 67.1;聚合(另计)8 请求 351.8;上下文 74,752 | 实测 | 2026-10-26 | 链接 |
| Qwen3.8-Flash-Next | Strata | RTX 5060 Ti 16GB(PCIe 4 x8)+ i7-14700 + 128GB RAM | 67 | Strata 0.2.7(engine 0.1.52),standard-v1,自调参数:短 67.0 / 4K 63.8 / 16K 62.7;预填 16K 1,834 | 实测 | 2026-10-28 | 链接 |
| Qwen3.8-Flash-Next | Strata | 1× RTX PRO 5000 Blackwell 72GB + Ryzen 7 9800X3D + 96GB RAM | 66.5 | Strata0.2.12,CUDA engine0.1.58(9780a8c)。188GB Q8_0,单请求标准套件短/4K/16K中位decode66.5/69.9/70.7,每项3次。MTP spec4,int8 KV,resident-budget66GiB,上下文上限262144;21/21必需请求,sanity12/12。权重超过主机RAM,专家从NVMe流式读取。4客户端排在2槽上,合计63.1/73.9/71.1,不作单流主值。下载时量化revision未知;运行时HEAD084c631a不冒充下载hash。 | 实测 | 2026-11-08 | 链接 |
| Qwen3.8-Flash-Next | Strata | RTX 5080 16GB(PCIe 5.0 x8)+ RTX 3080 10GB(PCIe 4.0 x4)+ Ryzen 9 9950X3D + 96GB DDR5(Windows 11) | 66 | standard-v1,短 decode:5080 单卡 65.5;层切 57.7;层切 + pipeline windows 66.0;3080 作专家缓存层 60.9。预填 16K:3,142 / 1,493 / 1,379 / 2,167。结论:第二张卡没有收益 | 实测 | 2026-10-28 | 链接 |
| Qwen3.8-27B | ExLlama | RTX 5060 Ti 16GB | 66 | MiaAI_lab 一键包默认配置:代码 66 tok/s,最多 176K 上下文(temp 0,固定种子,3 次一致)(代码速度;帖子未给散文速度) | 实测 | 2026-10-13 | 链接 |
| Qwen3.8-Flash-Next | Halogen | AMD Radeon 8060S 核显(Strix Halo,128GB 统一内存) | 66 | Halogen 0.18.22,44 个 agent 轮次:decode 平均 66,峰值 89;冷预填 1,135;提示缓存命中 99.4%;上下文平均约 91K;MTP 每轮 3.5 token | 实测 | 2026-11-03 | 链接 |
| Qwen3.8-27B | MLX | Mac Studio M4 Max | 65.76 | 原生栈 65.76 tok/s(MTP depth 3);同一 GGUF + llama.cpp 无 MTP:21.00 | 实测 | 2026-09-26 | 链接 |
| Qwen3.8-Flash-Next | Strata | RTX 3090 24GB + 128GB RAM(Windows) | 65.5 | 短对话解码中位 65.5 tok/s(49–81),首 token ~0.40 s;~14.5K 上下文 agent 回合 74.8;prefill 4K 1,473 / 16K 2,127 tok/s | 实测 | 2026-10-14 | 链接 |
| Qwen3.8-Flash-Next | ds4 (DwarfStar) | Mac Studio M3 Ultra | 65 | 65 tok/s(演示视频) | 实测 | 链接 | |
| Qwen3.8-Flash-Next | TensorFold | 1× DGX Spark | 64.4 | 1 流 64.4 tok/s(prose);8 流 200.9;32k 预填充 2,630 tok/s;@yume_arasaki 汇总帖(Mia 数据 + 复现):单流散文 63.6,4 流合计 114.5(x.com/yume_arasaki/status/2106837882870886438) | 实测 | 2026-10-08 | 链接 |
| Qwen3.8-Flash-Next | TensorFold | Gigabyte AI TOP ATOM (GB10) | 64.1 | 复现 MiaAI_lab recipe:1 请求 64.1(README 62.4);2 请求 83.0(README 90.5) | 实测 | 2026-10-01 | 链接 |
| Qwen3.8-Flash-Next | Strata | 4× Tesla V100 32GB(2 张 SXM2 转 PCIe + 2 张 PCIe,无 NVLink)+ EPYC 7402 + 220GiB RAM | 64 | Strata 0.2.6 / engine 0.1.47,4 卡 layer split,--kv int8:单请求计数类 117,散文 64;预填 1,448(--prefill-pipe 3072);聚合(另计)4 并发 166.9。作者报告 engine 0.1.55 在 Volta 上慢 40–50%,已回退 | 实测 | 2026-11-03 | 链接 |
| Qwen3.8-27B | 未注明 | 1× DGX Spark (GB10) | 64 | 复现 MiaAI_lab recipe:1/2/4/8 流 64.0/104.3/155.1/238.6(Mia:58.3/108.5/135.1/220.6);@yume_arasaki 汇总帖另记 Mia 代码 136.9(x.com/yume_arasaki/status/2106837882870886438) | 实测 | 2026-10-01 | 链接 |
| Qwen3.8-Flash-Next | Strata | 1× RX 7900 XTX 24GB via OCuLink PCIe4.0 x4 eGPU + UGREEN iDX6011 Pro NAS (Core Ultra 7 255H, 64GB LPDDR5X) | 63.6 | Strata 0.2.12,engine 0.1.58 hip-rx7900(SHA 校验)。standard-v1 package short decode 63.6;预填 4K/16K 788.4/1201.7;strata_bench chat/agent 68.1/73.2。int8 KV,kv-resident 32768,MTP spec4。21/21,sanity 12/12。原始数据在 faf-net/ugreen-idx6011-egpu-llm。调优 DFlash2 固定测 92.6(代码偏重且 114 题仅 51 题与 MTP 输出一致)不作主值。2026-11-09同作者同机复测 Strata 0.2.13 Linux Docker 镜像(engine 0.1.59 hip-rx7900,SHA 校验):默认 short decode 61.9;STRATA_HIPBLASLT_TABLE=on 为 67.4(预填 16K 1,192.5,与 0.2.12 持平)。无 gfx1100 表时 16K 预填慢约 35%(769.2 vs 1,185.8)。旧 63.6 在 ±5% 内,不改主值。原始数据在 faf-net/ugreen-idx6011-egpu-llm。 | 实测 | 2026-11-08 | 链接 |
| Qwen3.8-Flash-Next | oMLX | Mac Studio M4 Max | 63.38 | 均值 63.38 tok/s;sequence 68.85、code 52.20、json 69.09 | 实测 | 2026-09-26 | 链接 |
| Qwen3.8-Flash-Next | Strata | 1× RTX 5080 16GB + Ryzen 7 7800X3D + 127.4GiB RAM(Windows) | 63.1 | Strata v0.2.13.1 / engine 0.1.59,源码构建,commit 628f7495。strata bench run 标准协议,21/21 请求完成,12/12 健全性检查。短对话单流 decode 中位作主值。UD-Q4_K_XL + DFlash2(--spec 6,无 MTP):短 decode 中位 63.1(54.5–63.4)。配置 --max-context 262144,int8 KV。与同机其他量化单列。results.json 在 PR。 | 实测 | 2026-11-10 | 链接 |
| Qwen3.8-Flash-Next | Strata | 2× Intel Arc Pro B70 32GB + EPYC 7443P + 436GB RAM | 62.6 | 标准协议(思考开,131K ctx):decode 短 62.6 / 4K 60.0 / 16K 60.3;预填 4K 1,269.3 / 16K 2,078.7 | 实测 | 2026-10-31 | 链接 |
| Qwen3.8-Flash-Next | Strata | Tesla V100-PCIE 16GB + Tesla V100 16GB(SXM2 转 PCIe)+ Tesla PG500-216 32GB + 双路 Xeon E5-2680 v4 + 62.8GB RAM | 62.4 | 标准协议 draft.1:decode 短 62.4 / 4K 60.4 / 16K 64.1;预填 4K 826 / 16K 1,652;12/12 检查通过。tok_s 取短 62.4 | 实测 | 2026-11-05 | 链接 |
| Qwen3.8-Flash-Next | Strata | RTX 5080 16GB + 64GB RAM(12 核 CPU,外置 M.2×2 RAID0 SSD) | 62.1 | server 日志:19,454 token / 317 s = 62.1 tok/s;专家缓存命中 78.5%(另 6.0% 路由专家经 PCIe) | 实测 | 2026-10-18 | 链接 |
| Qwen3.8-Flash-Next | Strata | 1× RX 7900 XTX 24GB + Ryzen 9 3900X + 64GB RAM(Windows) | 61.8 | Strata engine 0.1.58(Windows):decode 短/4K/16K 61.8 / 58.7 / 57.5;预填 993 / 1,247。三次冷启动、每案 9 次请求。与 comm-276(Linux、IQ2_XS、同一 7900 XTX 卡族、作者 jkuczera、80.3)不是同量化对拍,不覆盖 80.3。tok_s 取短 decode 61.8 | 实测 | 2026-11-07 | 链接 |
| Qwen3.8-Flash-Next | Strata | 2× AMD RX 6900 XT 16GB(层切分,Linux) | 61.7 | 标准协议,双卡 decode 短 / 4K / 16K:默认 61.7 / 54.4 / 56.7;release 包加上游开关 73.8 / 66.0 / 74.0;补丁构建 76.1 / 72.4 / 73.2。预填 4K/16K:462/644 → 829/1,356 → 1,021/1,585。2026-11-07 同作者新测(Strata #5454):自定义 v0.2.11/prod-0211 加未进发行版的本地补丁,双卡 decode 短/4K/16K 84.7 / 80.7 / 85.5,预填 1,234 / 2,124;并行 1,上下文 262144。这不是默认发行版的加速;部分数值路径并非 bitwise 一致。tok_s 仍取默认配置 61.7 | 实测 | 2026-10-29 | 链接 |
| Qwen3.8-27B | Radiance | 1× Radeon AI PRO R9700 32GB | 61.6 | Radiance 1.12.0,tp1,fp8 KV:decode 冷 / 热 61.6 / 61.8(1.8.1 为 60.1 / 60.2);预填 190K 1,205;短提示(约 1.5K)预填从 1.8.1 的 548 降到 411(−25%,issue #225 报告的回归) | 实测 | 2026-10-25 | 链接 |
| Qwen3.8-Flash-Next | Strata | RTX 4080 SUPER 16GB + i7-9700K(Windows 11) | 61.1 | 短对话解码中位 61.1 tok/s;agent 回合 73.8;prefill 4K 1,368.0 / 16K 2,454.3 tok/s;限定:Strata 0.2.11 / engine 0.1.57 在 RTX 4080 SUPER(Windows,sm_89)上相对 0.1.56 全面变慢(#5328:chat decode 约 −5~−7%,16K 预填约 −7~−13%);本条为更早引擎测值,未改 tok_s | 实测 | 2026-10-14 | 链接 |
| Qwen3.8-Flash-Next | llama.cpp (vahpetr fork) | AMD Strix Halo 128GB(Ryzen AI Max+ 395,Vulkan) | 61 | 空上下文 61 t/s,524K 45,1M 35.5;prefill 8K 550 / 213K ~420;1M 上下文占 102.7 GiB(同机 stock llama.cpp ~24–27) | 实测 | 2026-10-10 | 链接 |
| Qwen3.8-27B | Ollama | Mac Studio M5 Max 64GB | 60 | 约 60 tok/s(视任务 40–70) | 实测 | 链接 | |
| Qwen3.8-Flash-Next | ds4 (DwarfStar) | Mac Studio M2 Ultra 192GB | 59.9 | MTP 关 42.51 → 开 59.90 tok/s;PP 288.78;常驻 69.73 GiB | 实测 | 链接 | |
| Qwen3.8-27B | Espetero | Mac Studio M4 Max 128GB | 59.4 | 1 用户:MLX 4-bit 不开 MTP 30.1,开 MTP 59.4(mlx-lm 27.5);UD-Q6_K GGUF 20.2,开 MTP 47.0(llama.cpp 19.5,开 MTP 33.3);聚合(另计)8 用户 161(mlx-lm 78) | 实测 | 2026-10-29 | 链接 |
| Qwen3.8-Flash-Next | ExLlama | 1× DGX Spark(GB10) | 58.4 | code 58.4,prose 53.9;聚合(另计)8 请求 41.5(1 slot,排队);32K 提示读入 662;同机 Mia TensorFold recipe code 43.2 | 实测 | 2026-10-26 | 链接 |
| Qwen3.8-Flash-Next | Strata | RX 6700 XT 12GB + Ryzen 7 5800X + 64GB DDR4(Ubuntu 26.04) | 58.1 | Strata 0.2.4.1,engine 0.1.48 hip-rx6000:校准后(--pcie-frac 0.20)code decode 58.1(默认 0.75 时 51.1)、prose 43.6;预填 8K 702 / 65K 677 | 实测 | 2026-10-25 | 链接 |
| Qwen3.8-Flash-Next | Strata | 2× RX 7800 XT 16GB + Ryzen 7 3700X + 61GB RAM | 57.9 | Strata0.2.12,发布版HIP engine0.1.58,无源码改动。单会话,chipset x4加CPU x16双卡;完整int8 KV在VRAM,上下文上限262144。标准真实散文4K/16K decode57.9/58.8,预填770/1300;22/22请求,sanity12/12。house模板峰95.2不能当通用主值;190–215K带缓存生产流量为53.6–60.8。未超频、未做48小时稳定性测试。 | 实测 | 2026-11-08 | 链接 |
| Qwen3.8-27B 4-bit | TensorFold | Mac Studio M4 Max | 57.4 | thinking 关 76.7 / 开 57.4 tok/s(6,071 / 11,895 token) | 实测 | 链接 | |
| Qwen3.6-35B-A3B | Splash | Mac mini M4 32GB | 57 | 57–65 tok/s;PP ~470 → 25K 时 250;首 token 3.3 s@1.5K / 12.4 s@6K / ~100 s@25K | 实测 | 链接 | |
| Qwen3.8-Flash-Next | Strata | RX 7900 XT 20GB + Ryzen 7 9800X3D + 62GiB RAM(Linux) | 56.8 | Strata 0.2.7(engine 0.1.52,rx7900 包),standard draft:短 56.8 / 4K 54.3 / 16K 59.2;预填 4K 926.5 / 16K 1,091.7 | 实测 | 2026-10-28 | 链接 |
| Qwen3.8-Flash-Next | Strata | Apple M3 Max 40-core GPU 128GB | 55.4 | Strata Desktop0.2.12,Metal engine0.1.58(146df3c4)。fresh engine、单槽、MTP spec2,上下文上限131072。短/4K/16K decode55.4/51.7/36.8,预填481.5/479.3;21/21请求,sanity12/12。量化与原权重revision未知,本地GGUF有hash;旧代Metal核,不套M5布局收益;capped总时长只到输出上限。 | 实测 | 2026-11-08 | 链接 |
| Qwen3.8-Flash-Next | Strata | 2× Tesla P40 24GB + 双路 Xeon | 55 | 单流约 55(2026-11-01 新帖,x.com/lyesbahi/status/2116857341991952414;2026-11-03 Strata 0.2.10 文本复制类 41 → 55(+32%),x.com/lyesbahi/status/2117545259358196187);STRATA_LOOKUP 补丁(PR #4928)下复制代码类请求持续 71.1,普通混合请求约 55–57(x.com/lyesbahi/status/2116953415980916766);历史:Strata 0.2.3 单流 46,2 用户每人约 42,NUMA 内存池 +15%(x.com/lyesbahi/status/2113593434355507686) | 实测 | 2026-11-03 | 链接 |
| Swift-1.5-Qwen3.8-Flash-Next | Strata | 1× Tesla V100-PCIE-16GB + Xeon E5-2678 v3 + 123GB RAM | 54.9 | short 54.9,4K 52.0,16K 54.1;预填 4K 932.5,16K 1,399.4;聚合(另计)4 客户端 45.7–47.8(1 slot 排队) | 实测 | 2026-10-26 | 链接 |
| Qwen3.8-Flash-Next | vLLM | 2× DGX Spark | 54.4 | 1 流 54.4 tok/s、8 流 207、32k 预填充 2,962 tok/s(均为 mia-ai.net;帖文写约 50 单流 / 约 212 8 流) | 实测 | 2026-08-31 | 链接 |
| Qwen3.8-Flash-Next | Halowin Bubo | Geekom A9 Mega(Ryzen AI Max+ 395,128GB LPDDR5X,BIOS 给 GPU 划 96GB,Windows 11) | 54 | decode 54–79(随草稿接受率 53–80% 变化);预填 1,556;加载 24–26 s;引擎方 13 英寸约 70W 机器的预填参考值为 1,384 | 实测 | 2026-10-29 | 链接 |
| Qwen3.8-Flash-Next | Strata | RTX 5070 12GB + RTX 5060 Ti 16GB + 64GB RAM(WSL) | 54 | Strata v0.2.6 / v0.2.8,同一长文读 3 次:生成 54–62(第 1 次冷缓存 41–55);约 4K 预填 v0.2.8 为 221.7 / 289.6 / 333.5。作者提示:第 1 次测的是文件缓存,不是版本差。2026-11-08同作者双卡、Strata0.2.11、IQ3_S、40960上限:STRATA_PREFILL_LAYER_MAJOR=1令约14K预填466.6变1059.8、33K453.7变717.5,每项3次中位(x.com/murasametech/status/2119247324656623651)。只测预填,无decode加速证据,54主值不变。2026-11-10同作者同双卡、同 IQ3_S:v0.2.11 与 v0.2.12 同日对比,decode 53.9–59.9 无差。预填仅上限 128K、约 3.3 万 token 一项 411.7→496.2(约 +20%);其余预填项范围重叠。54 主值不变。 | 实测 | 2026-11-02 | 链接 |
| Qwen3.8-27B | llama.cpp | Intel Arc Pro B60 24GB(Ryzen 7 3700X + 32GB DDR4,Windows 11) | 53.3 | 单请求 decode 均值 53.3 tok/s(7 个编码任务 47–58,64K KV);eval-suite 吞吐 42.3 tok/s;stock 无草稿约 16;32K prefill 420 tok/s(Intel FA) | 实测 | 2026-10-17 | 链接 |
| Qwen3.8-27B | oMLX | Mac Studio M4 Max | 53 | 53 tok/s prose,72 code,草稿接受率 78% | 实测 | 2026-08-23 | 链接 |
| Qwen3.8-Flash-Next | NVIDIA Flare | 1× DGX Spark | 52.7 | 配方 v2(仓库 sxuff/qwen38-flash-next-flare,提交 d37c2628e0;results/v2 附原始数据与版本记录)。本配方 A:Flare 0.1.0 @ca1f960 + 4 个补丁,权重 nvidia/Qwen3.8-Flash-Next-FP4-Local @b9ce18a6,MTP 3 草稿,greedy。flashnext-tf405 冻结测试:4 个提示 × 3 次 × 400 token,每种配置 3 次新启动。单请求 decode 52.7(52.0–53.3)作主值。同测 Hyperflare(NVIDIA/flare-local-inference 改名)@8a887202:MTP 51.3,DFlash2 55.5。8 个编码 agent 合计:A 85.4,Hyperflare MTP 88.3,不作单流主值。测于 2026-11-12 至 11-13。旧主值:2026-10-26 X 帖单流约 50 https://x.com/filicroval/status/2114454660396564597 。新帖 https://x.com/filicroval/status/2121282624471605457 。更早一帖(2026-10-24):FP4 单流 50.7;同机 TensorFold EXL3 75.7;32K 提示读入 14.1 秒;8 个智能体合计 77.6,首 token 时间 7 秒,不作单流主值。帖子 https://x.com/filicroval/status/2113985358320840881 | 实测 | 2026-11-13 | 链接 |
| Qwen3.8-Flash-Next | Strata | HP Z440:2× RTX 3060 12GB(130W)+ E5-1650 v3 + 96GB DDR4 | 52 | 2 个 agent 并行(每卡 1 个,共用内存中一份 47GB 模型):每个约 52;绑核 51+51,不绑 31+33;预填新提示约 1,000。同机 Qwen3.8-27B 双卡 47 / 51 / 58(散文 / 代码 / 推理);限定:Strata 0.2.10 起 Auto 默认改用 DFlash2;双卡 decode 可能弱于 MTP 或弱于单卡(Strata #5206 双 4060 Ti 上 DFlash2≈MTP;#5172 双 RX 9070 比单卡慢 10–50%) | 实测 | 2026-11-02 | 链接 |
| Qwen3.8-27B | llama.cpp | 2× Intel Arc Pro B70 32GB(Windows 11) | 51 | llama.cpp SYCL 双卡张量并行 + 作者补丁(基于 d81d0d8fb):单流 decode 约 51,是 1,030 个真实 agent 请求的平均值(日常流量,不是固定基准)(<40K 约 49,160K+ 约 61),温度 1.0;94K 新提示预填约 1,070 | 实测 | 2026-10-24 | 链接 |
| Qwen3.8-Flash-Next Coder | llama.cpp | Mac Studio M5 Max 64GB | 51 | 51 tok/s 写;~950 tok/s 读(98K 时 918) | 实测 | 链接 | |
| Qwen3.8-Flash-Next-hibrid48(uncensored) | vLLM | 2× DGX Spark(TP=2) | 51 | prose 51 tok/s | 实测 | 2026-10-03 | 链接 |
| Qwen3.8-Flash-Next | Strata | 2× RTX 3060 12GB + Xeon E5-2683 v4 + 64GB DDR4 | 50.9 | strata_bench short chat 50.9(46.6–68.1);prefill 4K 831 / 16K 1,172;Strata 0.1.47;限定:Strata 0.2.10 起 Auto 默认改用 DFlash2;双卡 decode 可能弱于 MTP 或弱于单卡(Strata #5206 双 4060 Ti 上 DFlash2≈MTP;#5172 双 RX 9070 比单卡慢 10–50%) | 实测 | 2026-10-23 | 链接 |
| Qwen3.8-27B | ninfer | 1× RTX 4090 24GB | 50.5 | 单请求 greedy,CUDA Graphs:无推测 50.5;MTP3 代码 148.6(接受率 81.0%),语料 106.5(48.7%);128K 深度 39.6。现默认 E8 4bit KV(rk4v4-e8,全 262,144 上下文),decode 约慢 5.7%,预填慢 1–2% | 实测 | 2026-08-15 | 链接 |
| Qwen3.8-Flash-Next | 未注明 | 1× DGX Spark (GB10) | 50.3 | 复现 MiaAI_lab recipe,按流合计:1/2/4/8 流 50.3/75.8/117.5/162.0(Mia:48.7/74.6/113.7/…) | 实测 | 2026-09-19 | 链接 |
| Qwen3.8-27B | llama.cpp | RTX 5060 Ti 16GB | 50.2 | MTP-2:30 token 提示 50.2 / 6.6K 提示 48.1 tok/s;MTP-1 45.8;无 MTP 27.6;峰值显存 14.8 GiB;接受率 77.2% | 实测 | 2026-10-11 | 链接 |
| Qwen3.8-Flash-Next | Strata | RTX 4000 Ada 20GB + Xeon w7-3455 + 255GB RAM(Windows 11) | 50.2 | 引擎日志计时,12 次预热后 8×200 token 取最后 6 次中位:聊天提示 50.2 / 代码提示 51.9;3.8K 提示预填 474;MTP 接受 86–88%;同卡同配置换 DFlash2 为 43.75 / 46.88,与 MTP 无明显差别。同机各次会话相差约 ±15% | 实测 | 2026-10-27 | 链接 |
| Qwen3.8-Flash-Next Coder | Strata | 2× MI50 | 50.1 | 50.1 / 47.8 / 45.7 tok/s(4K/32K/128K);~520 PP | 实测 | 链接 | |
| Swift-1.5-Qwen3.8-27B | ninfer | RTX 3060(显存未注明) | 50 | 解码 ~50 tok/s(44–52),KV 46,400 token(截图) | 实测 | 2026-10-15 | 链接 |
| Qwen3.8-Flash-Next | Strata | 2× MI50 32GB(限 150W) | 50 | 50 tok/s 解码 / 387 prefill(llama.cpp 37 / 327) | 实测 | 2026-10-04 | 链接 |
| Qwen3.8-Flash-Next | Strata | 2× GTX 1070 8GB + 64GB DDR4 | 50 | decode 约 50;提示处理 2K 约 230,8K 约 325 | 实测 | 2026-11-01 | 链接 |
| Qwen3.8-Flash-Next | Strata | 1× RX 7800 XT 16GB(OCuLink,PCIe 4.0 x4)+ i9-12900 + 64GB DDR5 | 49.3 | v0.2.9:短对话 decode 49.3;agent 会话 58.7;调优后预填 16K 846(默认 451) | 实测 | 2026-11-01 | 链接 |
| Qwen3.8-27B | MLX | Mac Studio M5 Ultra 256GB | 49.2 | mlx_lm.server(mlx-lm 0.31.3,mlx 0.32.2),5 次中位(另 1 次预热),输出上限 128,温度 0,关闭思考:512 提示 49.2(M3 Ultra 512GB 32.8);32K 提示 42.6(M3 Ultra 27.8)。tok_s 取 512 提示值 | 实测 | 2026-09-20 | 链接 |
| Qwen3.8-Flash-Next | Strata | 2× RX 6800 XT 16GB(PCIe x16 + x4,Windows) | 49 | engine 0.1.55 hip-rdna2:短提示 decode 49.0;限定:Strata 0.2.10 起 Auto 默认改用 DFlash2;双卡 decode 可能弱于 MTP 或弱于单卡(Strata #5206 双 4060 Ti 上 DFlash2≈MTP;#5172 双 RX 9070 比单卡慢 10–50%) | 实测 | 2026-10-31 | 链接 |
| Qwen3.8-Flash-Next | sushi | Mac Studio M1 Ultra 64GB | 49 | 245k 上下文下 49 tok/s 输出 | 实测 | 2026-10-10 | 链接 |
| Qwen3.8-Flash-Next | Splash | MacBook Air M5 24GB | 48.8 | Splash 1.4.0 + 作者约 800 行 fork(cache-aware routing 会略改输出):decode 均值 48.8(原版 28.8);冷预填 32K 522 / 63K 485 | 实测 | 2026-10-25 | 链接 |
| Qwen3.8-Flash-Next | Strata | 2× RX 6800 XT 16GB + 1× RX 6600 8GB + Ryzen 7 9700X + 63.7GiB RAM(Windows) | 48.7 | Strata engine 0.1.57 源码构建(c3b3f503,STRATA_HIP_ARCHS=gfx1030;gfx1032;gfx1036)。standard-v1 short 中位 48.7(45.1–51.2);4K/16K decode 44.1/43.5,预填 430.2/741.7。上下文 131,072。21/21,sanity 12/12;因 --skip-model-hash 被标 nonconforming。与 comm-220(2× 6800 XT,IQ3_XXS 49.0)和 comm-275(不同量化)分列。results.json 公开。 | 实测 | 2026-11-09 | 链接 |
| Qwen3.8-Flash-Next | vLLM | 1× DGX Spark | 48.7 | 1 流 48.7 tok/s(mia-ai.net,帖文未写单流);8 流 117 prose / 180 code(帖文);峰值内存 91 GiB | 实测 | 2026-09-19 | 链接 |
| Qwen3.8-Flash-Next | Strata | ASUS ProArt PX13 笔记本(Ryzen AI Max+ 395,Radeon 8060S,128GB,96GB 给 GPU,Windows 11) | 48.2 | Strata 0.2.10(engine 0.1.56)标准协议:decode 短 48.2 / 4K 43.1 / 16K 42.2;预填 4K 1,021 / 16K 1,061;11/12 检查通过。到 64K decode 37–49。同机 Qwen3.6-35B-A3B UD-Q4_K_XL 短 53.3。DeepSeek-V4.1-Flash 只在 --vram-experts ≤0.35 下能跑,decode 3–4 | 实测 | 2026-11-03 | 链接 |
| Qwen3.8-27B | llama.cpp | AMD RX 7900 XTX 24GB | 47.9 | AIME + LiveCodeBench 长生成平均 47.9 tok/s(1.34M token / 7.8 h) | 实测 | 2026-10-15 | 链接 |
| Qwen3.8-Flash-Next | Strata | AMD Strix Halo 395 | 47.7 | 8K 提示/128 输出:47.7 tok/s 解码,699 tok/s prefill,TTFT 11.8 s(halogen 0.17.2:34.3 / 1,573;llama.cpp HIP:23.2 / 466) | 实测 | 2026-10-08 | 链接 |
| Qwen3.8-Flash-Next | Strata | 3× RTX 3060 12GB(PCIe Gen3 x8/x4/x4)+ Ryzen 5 5600X + 64GB DDR4-2133 | 47.6 | 5600X:3 卡解码 47.4–48.6(211K 代码上下文 47.6 / 读入 1,543);2 卡 38.8–41.2;1 卡 27.3–28.7。换 Ryzen 5 1600:3 卡 44.1–45.3,2 卡 33.5–35.7,1 卡 23.0–24.2。回答 8–15K token | 实测 | 2026-10-22 | 链接 |
| Qwen3.8-Flash-Next | vLLM | 1× DGX Spark | 46.5 | 5 次中位,温度 0.7,300 token:JSON 62.4 / 代码 58.0 / 解释 46.5 / 改写 44.2 / 故事 33.6;随机文本 21.3 | 实测 | 2026-10-23 | 链接 |
| Qwen3.8-27B | TensorFold | 1× DGX Spark | 45.6 | TensorFold 1.2.2(niklaslenz,2026-11-05):代码 49.0 / 散文 45.6;2K 预填 889(1.2.1 为 354),128K 预填 660;8 流合计 108.8(x.com/niklaslenz_ai/status/2118316147686654429)。历史:ashxhart 更早 TensorFold 散文单流 58.3 / 2 流 108.5 / 8 流 220(https://x.com/ashxhart/status/2105745818137280545)。tok_s 取 1.2.2 散文 45.6 | 实测 | 2026-11-05 | 链接 |
| Qwen3.8-Flash-Next | Strata | 1× RX 9070 16GB(非 XT)+ i5-13490F + 64GB DDR4(Windows 11) | 44.1 | Strata engine 0.1.57,learned expert profile。卡是 RX 9070 16GB(非 XT),与 text-003 的 RX 9070 XT 不是同卡。thinking 关。decode 中位 44.1(n=9,范围 40.1–48.9);agent 53.3;预填 796.2 / 982.0。同机 learned-profile 4K decode 43.8→50.3。有后台程序,未跑质量套件。tok_s 取 44.1 | 实测 | 2026-11-07 | 链接 |
| Qwen3.8-Flash-Next | Strata | 2× RTX 4060 Ti 16GB 层切分 + Xeon W-2145 + 110GiB(WSL2) | 44.1 | Strata 628f749(app 0.2.13.1)/ engine 0.1.59 linux-cuda13 签名发布包。标准草案协议 short decode 中位 44.1(43.5–45.5)作主值;4K 44.7 / 16K 47.8 另标。配置 262,144,q4_0 KV,DFlash2 --spec 6。健全性 12/12。作者自注:引擎已在服务(缓存热),7/9 请求被协议 512 cap 截断。results.json 在 PR。 | 实测 | 2026-11-12 | 链接 |
| Qwen3.8-27B | vLLM | 1× DGX Spark | 42.2 | spark-arena 排行榜 llama-benchy(128 输出):1 用户 42.2 tok/s、prefill 2,158;100K 29.5;16K 2 用户合计 60.6|作者自测:25 提示中位 65.1(15.35 ms/token);质量 vs BF16 恢复 99.3–101.2% | 实测 | 2026-10-17 | 链接 |
| Qwen3.8-27B | SGLang | 1× DGX Spark | 42 | 单流 42 tok/s;C8 114;TTFT 0.2s;1.86M KV | 实测 | 2026-08-23 | 链接 |
| Qwen3.8-27B-heretic-ara-oQ4e-mtp | mlx-serve | Mac Studio M4 Max | 42 | code 74 / prose 42 tok/s(temp 0,thinking off) | 实测 | 2026-10-03 | 链接 |
| Qwen3.8-Flash-Next | Strata | 3× GTX 1080 Ti(每卡限 200W)+ Xeon E5-2670 + 32GB DDR3 | 41.7 | short 41.7(19.7–53.3),agent 53.9;另测 coder IQ1_M short 39.7 | 实测 | 2026-10-26 | 链接 |
| Qwen3.8-27B | Kapitsa | MacBook Pro 14 M3 Max 36GB | 41.3 | Kapitsa 0.2.12,持续 256 token 散文 3 次中位数:41.3(oMLX 34.1,Splash 33.0,MTPLX 31.6,Rapid-MLX 26.2) | 实测 | 2026-10-24 | 链接 |
| Qwen3.8-Flash-Next | Strata | 2× RX 7900 XT 20GB + Ryzen 9 3900X(Windows) | 41.2 | Windows HIP engine 0.1.48:短对话 decode 41.2;agent 会话 54.0;预填 32K 886;限定:Strata 0.2.10 起 Auto 默认改用 DFlash2;双卡 decode 可能弱于 MTP 或弱于单卡(Strata #5206 双 4060 Ti 上 DFlash2≈MTP;#5172 双 RX 9070 比单卡慢 10–50%) | 实测 | 2026-11-01 | 链接 |
| Qwen3.8-Flash-Next | Strata | 1× Intel Arc Pro B70 32GB | 40.2 | 标准协议:decode 短 40.2 / 4K 46.6 / 16K 44.1;预填 4K 841.9 / 16K 1,186.4;12/12 检查通过;另一台 B70(7950X3D,UD-Q4_K_XL,0.2.10):短 prompt 约 41;140K–235K 时 28.7–30.5;预填约 1,300;修两个 SYCL bug 后 DFlash2 约等于 MTP(github.com/Niko1221/Strata/issues/5138)。2026-11-08,mbaaku的B70/7950X3D/96GB另测UD-Q4_K_XL,engine0.1.57加8个patch,DFlash2,262144上限;短/4K/16K decode45.8/43.6/37.8(github.com/Niko1221/Strata/issues/5583)。注意本行原量化是UD-IQ4_XS,不是同量化升级,40.2主值不变。ZFS recordsize1M/metadata改16K/all令128–259K预填320–540变1425–1531,decode基本不变;双B60速度另列,不混用。 | 实测 | 2026-10-29 | 链接 |
| Qwen3.6-35B-A3B | llama.cpp (DavideWasTaken fork) | RTX 5050 笔记本 8GB + Core 7 240H + 32GB DDR5(Windows) | 40 | ubatch 4096 + 混合 MoE 缓存 + MTP:decode 40–46,预填 970–1,000;原版基线 41–43 / 480。帖中另测 moex:59–63 | 实测 | 2026-11-01 | 链接 |
| Qwen3.8-Flash-Next | Strata | RX 6800 16GB + RX 7600 XT 16GB + 约 48GiB RAM | 40 | 跨代 AMD 混插(gfx1030 + gfx1102),128K:生成通常 40–45;修了启动器加载错 rocBLAS 导致的 hipBLAS status 6 崩溃;跑 Claude Code 2.1.316 | 实测 | 2026-11-02 | 链接 |
| Qwen3.8-Flash-Next | Strata | 2× AMD Instinct MI50(gfx906,二手) | 40 | 40.0–49.8 tok/s 持续;累计均值 42.39 | 实测 | 链接 | |
| Qwen3.8-Flash-Next | Strata | RTX 3060 12GB + RTX 5060 Ti 16GB + 125GB RAM | 39 | Strata 0.2.10 源码编译。Ampere+Blackwell 首个 NVFP4 layer split 报告:decode 39–45(同卡对 UD-Q4_K_XL 为 29.5–37.1);31K prompt 24.8–25.2s(对照 29.0s)。最佳切分 K=18。tok_s 取下限 39 | 实测 | 2026-11-05 | 链接 |
| Qwen3.8-Flash-Next | Strata | 1× Arc A770 16GB + Ryzen 7 3800X + 30GB RAM(Linux) | 38.6 | 0.2.11 原版 8K decode 32.6 / 32K 28.1;叠加作者 A770 Alchemist 内核提交后 38.6 / 32.6(+18% / +16%)。非默认上游二进制,需这些提交。tok_s 取补丁后 8K 的 38.6 | 实测 | 2026-11-06 | 链接 |
| Qwen3.8-Flash-Next | Halogen | Strix Halo 128GB | 38 | 38.0 tok/s 平均(旧 llama.cpp 13.9) | 实测 | 链接 | |
| Qwen3.8-35B-A3B 蒸馏版(社区模型) | llama.cpp | 1× Radeon VII 16GB(Thunderbolt eGPU,ROCm) | 38 | decode 38;8K 上下文时 36。版本号未给 | 实测 | 2026-10-27 | 链接 |
| Qwen3.8-27B | gufo | Ryzen AI MAX+ 392(12 核,Radeon 8060S)32GB 笔记本 | 37.8 | tubo 分支 decode 37.8(512 token 回答,10 次);同机同设置的上游 gufo 29.6(+28%);权重读取带宽 73% 对 53%。HumanEval 155 对 156,质量持平。tok_s 取 tubo 值 | 实测 | 2026-10-27 | 链接 |
| Qwen3.8-Flash-Next | llama.cpp | 2× Radeon AI PRO R9700 32GB(PCIe 5.0 x8)+ Ryzen 9 9950X | 37.76 | llama-bench(b11804,ROCm 7.2.1,-sm layer -fa 1):tg128 37.76,pp512 1,418.85。--n-cpu-moe 6/12/24:tg 32.96 / 29.80 / 26.03,每层专家约 1.1 GiB 显存 | 实测 | 2026-10-31 | 链接 |
| Qwen3.8-Flash-Next | Strata | AMD Instinct MI50 32GB | 36.8 | AIME + LiveCodeBench 长生成平均 36.8 tok/s(1.39M token / 10.5 h) | 实测 | 2026-10-15 | 链接 |
| Qwen3.8-27B | SGLang | 1× DGX Spark | 36.59 | HumanEval+ 50 题、思考开、c=1 净解码:普通 12.65 / MTP 24.2 / DSpark 27.96 / DFlash2 36.59 tok/s(tok_s 取 DFlash2 代码任务净解码;帖子无散文分项) | 实测 | 链接 | |
| Qwen3.8-Flash-Next | TensorFold | 1× DGX Spark(GB10) | 36.2 | 4 引擎 agent 测试,30K 上下文,各 3 次:TensorFold+Mia 补丁 36.2,NVIDIA Flare 31.2,stock TensorFold 30.2,vLLM 26.4;JSON 输出 67–70,prose 31–34 | 实测 | 2026-10-25 | 链接 |
| Qwen3.8-27B | Ollama | Mac Studio M5 Max 36GB | 36 | Ollama 0.40.13:Q4_K_M 约 19;nvfp4 MLX 35–46(与 Cline 长时间使用时内存一直增长);Q4_K_M + MTP 36–38(14K 上下文时 28)。tok_s 取 Q4_K_M + MTP | 实测 | 2026-10-31 | 链接 |
| Qwen3.8-Flash-Next | Strata | MacBook Pro M5 Pro 64GB(专家从 SSD 流式读取) | 35.5 | Strata v0.2.6 源码 + #5167,--mmap-experts,思考关,3 次中位:手动加 MTP(--spec 2)chat 35.5 / agent 28.6;setup 默认(suffix drafter)25.7 / 22.5;DFlash2 24.7。预填 4K / 16K 约 700 | 实测 | 2026-11-04 | 链接 |
| Swift-1.5-Qwen3.8-27B | WHIRL | Radeon 8060S(Ryzen AI Max+ 395,ASUS ROG Flow Z13 @80W,64GB UMA) | 34.9 | WHIRL 0.2.5.1 balance(Windows 原生 HIP):QA@2k decode 34.9;coding chat 38.1;预填 2k 527.2 / 128k 310.9。对照同机 llama.cpp b11960 ROCm/Vulkan:QA@2k 25.1/25.2,coding 29.7/29.3。每格 3 次取最佳。复现提示见作者 benchmarks.md。tok_s 取 QA@2k 的 34.9 | 实测 | 2026-11-06 | 链接 |
| Qwen3.8-27B | vLLM | 1× DGX Spark | 34.89 | 原生栈 34.89 tok/s(MTP depth 3);同一 GGUF + llama.cpp 无 MTP:11.17 | 实测 | 2026-09-26 | 链接 |
| Swift-1.5 (Qwen3.8-Flash-Next) | Strata (milpster mixed-rocm-cuda fork) | 2× Radeon VII 16GB + 1× RTX 3080 Laptop 8GB helper + Ryzen 9 5900HX + 62GB RAM | 34.7 | milpster 混 HIP/CUDA fork(从 v0.2.11 派生 + HIP DFlash2):IQ3_XXS pooled 494-token 中位 decode 34.7;同设定未改 stock 为 23.3。1024 输出时相对 stock 的收益缩至约 1.3×。新鲜 16K 预填 299 vs stock 338(−12%),88K 472 vs 549(−14%)。RTX 3080 Laptop 是真实笔记本 GPU 作 helper,不是改装桌面卡。另有 IQ3_S 包,数字不混用。复现见 github.com/milpster/strata-dflash2-gfx906-mixed-rocm-cuda。tok_s 取 34.7 | 实测 | 2026-11-07 | 链接 |
| Qwen3.8-Flash-Next | Halogen | AMD Strix Halo 395 | 34.3 | 34.3 tok/s 解码,1,573 tok/s prefill,TTFT 5.2 s(8K 提示) | 实测 | 2026-10-08 | 链接 |
| Qwen3.8-Flash-Next | Strata | 1× Tesla P100-PCIE-16GB + Ryzen 5 5600G + 94GB RAM | 34.2 | short 34.2,4K 30.7,16K 30.2;预填 265.6–299.1 | 实测 | 2026-10-26 | 链接 |
| Qwen3.8-Flash-Next | Strata | 2× RX 6800 XT 16GB(PCIe x8+x8)+ 128GB DDR4(Windows) | 34.1 | Strata 0.2.11 / engine 0.1.57,标准协议:decode 34.1 / 35.8 / 31.8(短/对照);预填 226.1 / 354.9;sanity 12/12。相对同机旧拓扑 x16+x4(#4868 / comm-220 系):decode +12–36%,预填退步。起草为 DFlash2(--draft dflash2 --spec 6)。tok_s 取短 decode 34.1 | 实测 | 2026-11-07 | 链接 |
| Qwen3.8-Flash-Next | Strata | NVIDIA Jetson AGX Thor(122.8GB 统一内存) | 34 | strata bench run 标准协议:decode 短 34.0 / 4K 34.2 / 16K 32.9;预填 4K 744.7 / 16K 891.4;12/12 检查通过。2026-11-09分叉 v0.1.56-thor-preview 帖称约 38 tok/s(另称 66.5GB 占用时约 100);量化与上下文未写,不能当同条件复测,不改 34.0。 | 实测 | 2026-10-29 | 链接 |
| Qwen3.8-27B | oMLX | Mac mini M4 Pro 64GB | 33.8 | 4-bit 14.7→33.8 tok/s;8-bit 8.4→30.5 | 实测 | 链接 | |
| Qwen3.8-Flash-Next | strata-mlx | MacBook Pro M4 Pro 48GB | 33 | 更新后:merge-code 提示 45 tok/s(两次);另两个提示缓存预热后 32–33;tok_s 取另两个提示上限 33(不取代码 45) | 实测 | 2026-10-15 | 链接 |
| Qwen3.8-27B-SLQ-EAR98 | vLLM | 2× RTX 5060 Ti 16GB | 33 | code 33.0,prose 33.0;聚合(另计)8 请求 143.1;上下文 94,208 | 实测 | 2026-10-26 | 链接 |
| Qwen3.8-27B | vLLM | 1× DGX Spark | 32.01 | HumanEval+ 50 题、思考开、c=1 净解码:普通 10.95 / MTP 20.89 / DSpark 25.58 / DFlash2 32.01 tok/s(tok_s 取 DFlash2 代码任务净解码;帖子无散文分项) | 实测 | 链接 | |
| Qwen3.8-27B(Saluki by Underdog,7.9 GB) | llama.cpp | RTX 5060 Ti 16GB | 32 | 代码 32 tok/s,可装满 262K 上下文(无视觉文件)(代码速度;帖子未给散文速度) | 实测 | 2026-10-13 | 链接 |
| Qwen3.8-Flash-Next | Strata | 1× GTX 1070 Ti 8GB(Pascal) | 31.8 | 标准测试:decode 31.8;4K 提示约 252;Swift 1.5 IQ2_XS decode 34.0 | 实测 | 2026-11-01 | 链接 |
| Qwen3.8-Flash-Next | 未注明 | M4 Mac mini 16GB + RTX 3090(NVMe 流式) | 31 | EXL3 3-bit,超过一半模型从 NVMe 流式读取:31 tok/s;前一天同机另帖(2026-10-14,量化未写,x.com/0xSero/status/2110103539813077168):解码 23–27,预填 523,200K KV,启动 118 秒 | 实测 | 2026-10-15 | 链接 |
| ThinkingCap-Qwen3.8-Flash-Next | llama.cpp | 1× DGX Spark(GB10) | 30.6 | code 30.6,prose 30.3;32K 提示首 token 51.9s;聚合(另计)4 请求 46.0,8 请求 44.3;默认设置 3 次均被 OOM 终止 | 实测 | 2026-10-26 | 链接 |
| Qwen3.8-27B | llama.cpp | 1× DGX Spark | 30.02 | HumanEval+ 50 题、思考开、c=1 净解码:普通 10.8 / MTP 22.2 / DSpark 19.7 / DFlash2 30.02 tok/s(tok_s 取 DFlash2 代码任务净解码;帖子无散文分项) | 实测 | 链接 | |
| Qwen3.8-Flash-Next | Strata | Tesla P40 24GB(二手) | 30 | 30–33 tok/s 解码;217–374 PP;限定(Strata #5268,0.2.10):同卡上 qwen35moe(Qwen3.6-35B-A3B)路径短提示 decode 约 67,24K 提示降到 10.9;同一 GGUF 在 llama.cpp 上保持 69–78。本条模型是 Flash-Next,数字来自 OLDER_GPUS.md。2026-11-08社区 PR:同卡 IQ3_S、v0.2.12/engine0.1.58,但宿主为双 Xeon E5-2630 v3 的 Hyper-V VM(每 VM 8 vCPU/66GB)。chat 29.0 / standard short 34.6。机箱形态未证,只作版本备注,不改 30.0,也不把 V100 57.2 挂到本行。 | 实测 | 链接 | |
| Qwen3.8-Flash-Next | Strata | RTX 2080 Ti 11GB(PCIe 3.0)+ Ryzen 5 3600X + 32GB DDR4-3200 + NVMe(Windows 11) | 29.7 | strata bench 草案协议 strata-qwen38-thinking-v1-draft.1:decode 短提示 29.7 / 4K 32.9 / 16K 31.6;预填 4K 553 / 16K 536;sanity 12/12。TQ1_0 质量低。tok_s 取短提示 | 实测 | 2026-10-27 | 链接 |
| Qwen3.8-27B | oMLX | Mac mini M4 Pro 64GB | 29 | 29 tok/s(SSD 前缀缓存 ~85%) | 实测 | 链接 | |
| Qwen3.8-Flash-Next | Strata | 1× RTX 4060 Ti 16GB(PCIe 4.0 x8)+ i7-13700F + 78.5GiB 内存(Windows 11 + WSL2) | 27.9 | Strata v0.2.12 官方 release 二进制(源码 146df3c),engine 0.1.58 linux-x86_64-cuda12。生产配置原样:--max-context 131072,--kv k8v4,--expert-cache 2700(显存限到 2,294 槽),--spec 6,--draft dflash2,--draft-conf 0.7,单槽,思考关,温度 0。tools/strata_bench.py --runs 3 --long(社区指南报告,不是 standard-v1 协议)。chat decode 27.9(26.7–37.7,输出上限 100 token)作主值;agent 轮 decode 29.1(缓存命中 69.81%)。读入 4K / 16K / 32K / 128K 为 502.8 / 814.2 / 824.8 / 875.3(128K 时 TTFT 145.1 s)。4 客户端 合计 19.55 是排队(total_slots 1),不作单流主值。作者注:两次会话的 decode 不能复现(16K +11.6%,32K −10.0%),decode 列不宜与其他报告直接比较。PR 附 results.json、extra-arms.json 与 engine 日志,记为实测。2× 4060 Ti 见 comm-183(他人)。 | 实测 | 2026-11-13 | 链接 |
| Qwen3.8-Flash-Next | Strata | RX 5700 XT 8GB(gfx1010,SCLK 1800 MHz)+ Xeon E5-2680 v4 + 62GB RAM | 27.5 | Strata 0.2.10(engine 0.1.56,HIP gfx1010 源码编译),标准协议 draft.1:decode 短 27.5 / 4K 23.8 / 16K 23.5;预填 4K 161.6 / 16K 162.6;12/12 检查通过。`STRATA_PREFILL_CPU_SHARE` 在 HIP 上约 +29%。原厂 2100 MHz 会在长 prompt 上 gfxhub 复位,故锁 1800 MHz。tok_s 取短 27.5 | 实测 | 2026-11-05 | 链接 |
| Qwen3.8-Flash-Next | Strata | AMD RX 7600 8GB(gfx1102,无显示输出,Debian 13) | 27.2 | Q2_0:短对话 decode 27.2(中位数);预填 4K 215.9 / 16K 237.9;needle 6/6。Coder IQ1_M:decode 19.8,预填 176.9 / 174.4 | 实测 | 2026-10-28 | 链接 |
| Qwen3.8-27B | MTPLX | Mac mini M4 Pro 64GB | 27 | 27 tok/s(MTP)/ 12(基础);8K 提示 prefill ~80 s | 实测 | 链接 | |
| Qwen3.8-Flash-Next-REAP-288 | oMLX | Mac M4 Pro 48GB(机型未注明) | 26 | 解码 26–29 tok/s;PP 最高 ~149;常驻 ~39GB | 实测 | 链接 | |
| Qwen3.6-35B-A3B | llama.cpp | Lenovo IdeaCentre Mini Snapdragon X1-26-100 32GB(CPU only) | 24.5 | 解码 24.5 tok/s(llama.cpp write);prefill/read ~118 | 实测 | 2026-10-16 | 链接 |
| Qwen3.8-Flash-Next-Coder | Strata | 1× RX 7600 XT 16GB + Ryzen 5 3600 + 32GB DDR4(CachyOS / ROCm 7.2.4) | 24.4 | 自编 0.1.44.1 基座(37f6ceea)回移部分 v0.2.12 guards(#5108/#5096),不是未改的官方 0.1.58。chat decode 24.4,另一 candidate 腿 23.9;agent 28.0;预填 4K 305.8/306.8,16K 334.6/331.7。MemorySwapMax=0,四腿 0B swap。启用实验 cvec,质量套件未跑。tok_s 取 24.4 | 实测 | 2026-11-07 | 链接 |
| Qwen3.8-27B | 未注明 | RTX 5060 Ti 16GB(Thunderbolt 外接)+ MacBook Pro M1 Max(Linux) | 24 | decode 24,是笔记本自带 GPU 的 2.6 倍 | 实测 | 2026-11-03 | 链接 |
| Qwen3.8-27B | llama.cpp | 1× Intel Arc Pro B70 32GB (230W) | 23.9 | llama.cpp b12195-3-gf477f795c(含 #31125),SYCL,oneAPI 2026.1。llama-bench tg128,q4_0 KV,64K 深度 decode 23.9;空上下文 27.9;q8_0 KV 64K 22.3。原始 jsonl 与脚本公开。与同作者 TensorFold/EXL3 的 comm-294/295 不同引擎。 | 实测 | 2026-11-08 | 链接 |
| Qwen3.8-Flash-Next | llama.cpp | Mac Studio M4 Max | 23.2 | 推理 22.7 / 编码 23.0 / 策略 23.2 tok/s | 实测 | 链接 | |
| Qwen3.8-Flash-Next | Strata | NVIDIA Jetson AGX Orin 64GB(统一内存,12 核 ARM,CUDA 12.6) | 22.2 | Strata engine 0.1.59.1,上游 main 13eedf55 release 构建,sm_87。strata bench run standard-v1,自定义生产档:max-context 131072,kv int8,MTP t=4,expert-cache 4000,ple-io mmap。short decode 中位 22.2(20.2–24.0,3 次)作主值;4K 22.1,16K 20.3;读入 4K/16K 为 517/668。sanity 12/12。4 请求同时 合计 19.2–19.5,不作单流主值。results.json 与 outputs.jsonl 在 PR;engine.log 为空(作者注明 runner 不捕获)。 | 实测 | 2026-11-12 | 链接 |
| Qwen3.8-27B | llama.cpp | 1× Radeon VII 16GB(Thunderbolt eGPU,ROCm) | 22 | decode 22;32K 上下文时 16;同卡 Vulkan 下 27B IQ3_S 为 2.75,ROCm 为 18.6;32K 时 GPU 复位一次(ROCm 恢复,Vulkan 未恢复)。版本号未给 | 实测 | 2026-10-27 | 链接 |
| Qwen3.8-27B | llama.cpp | 双卡:RTX 5060 Ti 16GB + GTX 1080 8GB(tensor split 4,1) | 21.9 | llama.cpp 日志 21.39–21.93 tok/s(生成 1.6–1.9K token);tg_3s 约 26.4 | 实测 | 2026-10-14 | 链接 |
| Qwen3.8-27B | 未注明 | Mac Studio M3 Ultra 96GB | 21.51 | 21.51 tok/s(比无草稿快 63%);峰值 58.09GB | 实测 | 链接 | |
| Qwen3.8-Flash-Next-REAP-288 | oMLX | Mac mini M4 Pro 64GB | 21.2 | 21.2 tok/s(编码 agent);~190 PP | 实测 | 链接 | |
| Qwen3.8-Flash-Next | Strata | RTX 3090 + 32GB RAM(单卡)/ +2070S(合 32GB) | 20 | 20–21 tok/s / 34.2 tok/s | 实测 | 链接 | |
| Qwen3.8-27B | Splash | Mac mini M4 Pro 48GB | 20 | Splash 1.4.0 用同一提示重测(帖文原话“長文生成”):15.8→20 tok/s,首次响应 0.4→0.3 s。旧帖同机同量化(x.com/nenshu52man/status/2104380435908423721):短文 24.8 / 300 字 17.5 / 1000 字 15.8(另测短文 66),首 token 0.4 秒。15.8 与旧帖 1000 字值相同,推断是同一测试 | 实测 | 2026-10-21 | 链接 |
| Qwen3.8-Flash-Next | Strata | 1× Valve Steam Machine (Radeon Navi33 8GB) + 32GB RAM | 17.3 | Strata terminal 0.2.9,stock HIP engine 0.1.55。约8K实际输入、单请求、每配置3次:decode范围17.3–19.8;tok_s取公开范围下端,不是均值。上下文上限131072;58K/61K实际输入为17.6–17.9。resident-budget-gib=64,q4_0 KV,无投机。预填232–242;桌面登录时曾重启一次,原因未确认。 | 实测 | 2026-11-07 | 链接 |
| Qwen3.8-Flash-Next Coder | Strata | 1× RX Vega 64 8GB + Ryzen 5 1600 + 32GB DDR4 | 14 | gfx906 兼容后端,4 个小改动后可构建;decode 14–17(受系统内存读取限制);约 2 小时负载测试无失败 | 实测 | 2026-11-02 | 链接 |
| Qwen3.8-Flash-Next | oMLX | Mac M4 Pro 48GB(机型未注明) | 12 | 12 tok/s | 实测 | 链接 | |
| Qwen3.8-Flash-Next | 未注明 | Mac mini M4 Pro 64GB | 11 | stock 11 / best 11 tok/s(作者称“基本跑不动”) | 实测 | 链接 | |
| Qwen3.8-27B | gufo | 1× EVO-X2(Ryzen AI Max+ 395 / Radeon 8060S,128GB UMA) | 7.3 | 一台 EVO-X2,不是两套配置。gufo(commit 6ab4569,HIP/ROCm 7.2.4,非 Vulkan):暖机后 3 次中位,sessions 1、无投机。3,920 输入 decode 7.3 / 预填 557 / TTFT 7.0 秒;47,361 输入 decode 6.7 / 预填 484 / TTFT 97.9 秒。tok_s 取 3,920 输入的 7.3 | 实测 | 2026-11-07 | 链接 |
| Qwen3.8-Flash-Next | Strata | Ryzen AI 9 365 + Radeon 880M(32GB 统一内存,BIOS 划分 16GB 内存 + 16GB 显存)(Windows) | 4.2 | 14,012 token 上下文下连续输出 875 token:4.2 tok/s;专家缓存命中 38%;系统内存 15.5/16GB,大量落到 SSD 页面文件。核显下限数据,不是推荐配置 | 实测 | 2026-10-27 | 链接 |
| Qwen3.8-Flash-Next | Strata | RTX 2080 Ti 11GB(PCIe 3.0)+ Ryzen 5 3600X + 32GB DDR4-3200 + NVMe(Windows 11) | 2.9 | decode 短提示 2.9–3.0 / 4K 2.9–3.1 / 16K 3.2;预填 4K 108 / 16K 152–153(两次独立运行)。受 SSD 读速限制:每个缺失专家约 129–130 微秒,每窗口读 0.65–0.85 GB,速度 1.0–1.2 GB/s。tok_s 取短提示 | 实测 | 2026-10-27 | 链接 |
| Qwen3.8-Flash-Next | Radiance | 1× RX 9070 XT(PCIe 5.0 x16)+ 96GB DDR5 | 只有预填数字:约 3,700 tok/s(PCIe 降到 gen4 约 2,000;--max-num-batched-tokens 4096 最好;同机 Strata 约 2,500)。decode 在 100K 内衰减 18–19%;正文没有绝对 decode 值,所以 tok_s 留空。卡上约 8GB 专家、3GB KV,主机池约 57GB | 实测 | 2026-10-27 | 链接 | |
| Qwen3.8-Flash-Next | Strata | 2× RTX 3090 + 80GB DDR4(二手 HP Z840) | 100+ tok/s;900–1,200 PP;限定:Strata 0.2.10 起 Auto 默认改用 DFlash2;双卡 decode 可能弱于 MTP 或弱于单卡(Strata #5206 双 4060 Ti 上 DFlash2≈MTP;#5172 双 RX 9070 比单卡慢 10–50%) | 实测 | 链接 | ||
| Qwen3.8-Flash-Next | vLLM | 1× DGX Spark | 散文 50.7(1路)→122.9(4)→189.6(8)→282.6(16);作者表称 16 路 322 | 实测 | 链接 | ||
| Qwen3.8-Flash-Next | vLLM | 2× DGX Spark | 散文 81.6;结构化 138.3;代码 133.2;4 流结构化合计 383.1 | 实测 | 链接 | ||
| Qwen3.8-27B | SGLang | RTX 5090 / 1× DGX Spark | 206 tok/s / 38 tok/s | 实测 | 链接 | ||
| Qwen3.8-27B 4-bit | oMLX | Mac M4 Max | 数字类 154 / 146 / 146;故事 51 / 53 / 54;关草稿均 29–31 | 实测 | 链接 | ||
| Qwen3.6-35B-A3B | 未注明 | RTX 5090 | 无草稿 275.5 → 312.4(最佳 318.3) | 实测 | 链接 | ||
| Qwen3.6-35B-A3B | MLX | Mac M4 Pro | 50–55 → 80–85 t/s | 实测 | 链接 | ||
| Qwen3.6-35B-A3B | oMLX | Mac Studio “M4 128G”(帖文原话) | 1/4 上下文内 100+(峰值 140+);近满 40+(oMLX 20+) | 实测 | 链接 | ||
| Qwen3.8-Flash-Next | oMLX | Mac Studio M5 Ultra 80C 256GB | 短提示 108;代码 143;512 token 答案 4K 90.7 → 256K 74.7;16K PP 2,887 | 实测 | 链接 | ||
| Qwen3.8-Flash-Next | oMLX | Mac Studio M3 Ultra 512GB | 短提示 70;代码 98;4K 59.0 → 256K 38.6;16K PP 1,143 | 实测 | 链接 | ||
| Qwen3.8-Flash-Next | oMLX | Mac Studio M5 Ultra 256GB vs M3 Ultra 512GB | M5U:111.6/142.9 → oQ8e(表放 SSD)86.8/119.0;M3U:77.3/103.9 → oQ8e 63.5/89.1 | 实测 | 链接 | ||
| Qwen3.8-Flash-Next | 未注明 | Mac M4 Max / M2 Ultra | 45 / 25 tok/s | 实测 | 链接 | ||
| Qwen3.8-27B | oMLX | Mac Studio M5 Ultra 256GB / M3 Ultra 512GB / RTX 5090 | 6K 提示:48 / 31 / 59 tok/s;PP 1,701 / 414 / 3,031;256K:24.3 / 15.0 / 30.0(5090 需 8-bit KV) | 实测 | 链接 | ||
| Qwen3.8-27B | MLX | Mac Studio M4 Max | 代码 74.1;散文 52.8 | 实测 | 链接 | ||
| Qwen3.8-27B | DFlash | Mac mini M4 Pro 64GB | 5.75 / 10.50 / 15.15 / 8.41 / 16.03 / 24.32 / 3.29 tok/s(思考关,160 token,3 次平均) | 实测 | 链接 | ||
| Qwen3.8-27B | DFlash | Mac mini M4 Pro 64GB | 28.41 vs 14.62 tok/s;Ollama 17–26;峰值内存 ~20GB | 实测 | 链接 | ||
| Qwen3.6-35B-A3B | oMLX | Mac Studio M3 Ultra 256GB | 1 路 57.2;2 路合计 113.5;4 路合计 73.4(倒退) | 实测 | 链接 | ||
| Qwen3.6-35B-A3B | SGLang | 1× RTX 5090 | 626 | sglang-elsa(作者 fork,MTP + FR-Spec,思考关):C=1 626(同卡原版 SGLang 0.5.22 无 MTP 310、vLLM 267);聚合(另计)C=4 1,343 / C=8 1,956 | 官方 | 2026-10-24 | 链接 |
| Qwen3.5-2B | webyIQ | RTX 5080(Chrome 156,WebGPU) | 620 | 浏览器内 greedy:620(不开 MTP 投机 417;同模型 WebLLM 0.2.87 为 94,transformers.js 31);约 1K 提示 0.20 秒;AMD 2-CU 核显 37(WebLLM 4.7) | 宣称 | 2026-11-02 | 链接 |
| Qwen3.6-35B-A3B | sparkinfer | RTX 5090 | 512 | 512 tok/s(称比 llama.cpp 快 86%) | 宣称 | 链接 | |
| Qwen3.8-Flash-Next | Basalt | 1× RTX 5090(限 400W)+ 128GB RAM | 354 | 7 引擎横评(贪心、思考关、int8 KV、每请求冷启动、单次):短上下文 Struct/Conv/Prose:Basalt 354/188/180,Infernix 349/170/163,capy-flash 292/165/152,Strata 204/146/123,llama.cpp 39(未开 MTP);200K 深度 Basalt 160;100K 预填 Basalt 8,666。tok_s 取 Basalt Struct。利益相关:发帖人是 Basalt 开发者 | 官方 | 2026-10-24 | 链接 |
| Qwen3.6-35B-A3B | Kapitsa | MacBook Pro 16 M5 Max 128GB | 346 | Kapitsa 0.2.26,3 次中位:512 token 代码回答 decode 346,4K 预填 6,036;32K 时 decode 175。同帖:Clover 35B 304,Flint 40B 265,Nemotron Bolt 74B 154,Qwen3.8 27B 143 | 宣称 | 2026-11-01 | 链接 |
| Qwen3-Coder-30B-A3B-Instruct | llama.cpp | RTX 5090 32GB(主机 EPYC 7543 + 945GB RAM,CLI 报告) | 304.9 | chat-short 解码 304.9 tok/s;prefill 514.5(110-token 提示);TTFT 213.8 ms(suite-v1,batch=1;同 run chat-long prefill 8,353) | 宣称 | 2026-10-17 | 链接 |
| Qwen3.8-Flash-Next | Strata | 1× RTX PRO 6000 Blackwell 96GB | 300.3 | Strata 0.2.12 / engine 0.1.58 / CUDA13。短输入中位 decode 300.3;7K/29K 311.9/271.2;预填 935.8/7088.6/7561.1。每档 3 次×512 输出,零缓存输入。配置上下文 256K、int8 KV;实测输入仅到 29K。无原始 results 文件、无完整 CLI,主机 CPU/RAM 未给;按原始数据规则降为宣称。与限 350W 的 NVFP4 行 comm-300 同卡同引擎但量化/功耗不同,分列。 | 宣称 | 2026-11-09 | 链接 |
| Qwen3.8-Flash-Next | Basalt | RTX 5090 32GB + RTX 5060 Ti 16GB + 128GB RAM | 300 | Basalt 0.2.0:散文约 300,结构化约 600,预填约 10K。NVFP4-DQ8 对 BF16 的 KLD 0.0561 | 宣称 | 2026-11-03 | 链接 |
| Qwen3.8-Flash-Next | ExLlama | 1× RTX PRO 6000 Blackwell Max-Q 96GB | 299.4 | V2 配方(仓库提交 a659d52056):exllamav3 v1.6.4 + engine/patches(V2 补丁)+ TabbyAPI @564f8fb,6-bit KV,3M token 共享池,每请求上限 655,360,读入块 8192,DFlash2 草稿。代码提示,每请求输出 512 token,greedy,A/A/B/B 交替启动,每次启动 3 次,取中位数。1 用户 299.4 作主值(测于 3,121,152 token 池、读入块 2048);2 / 4 / 8 用户 合计 398.0 / 560.9 / 676.7,不作单流主值。发布配置单次 1 用户 305.3。短提示强制 2048 token decode:prose 125.8,code 287.3,chat 156.1,math 313.8。读入 32K / 128K 为 5,690 / 5,647。旧主值:v1(原版 exllamav3 1.6.4,8-bit KV)代码提示 C=1 233.9(2026-10-24 README,3 次中位数,同一仓库地址);V2 表中 v1 同测为 231.1。作者仓库有方法和中位数表,无逐次原始数据,记为宣称。X 帖 https://x.com/GPTWare/status/2121265574529339808 | 宣称 | 2026-11-13 | 链接 |
| Qwen3.6-35B-A3B-Escha-W2 | SGLang | RTX 5090 32GB | 283 | 283 tok/s 生成 | 宣称 | 2026-07-22 | 链接 |
| Qwen3.8-27B | tqLLM | RTX 3090 24GB | 273 | 短提示(LocalMaxxing reasoning)273 tok/s,5 次中位、温度 0,已获 LocalMaxxing 收录;代码提示随上下文:32K 203 / 128K 157 / 192K 144 / 256K 107(tok_s 取短提示)。2026-11-09作者试 DSpine:TQ4_L 代码/数学 209(同条件 DFlash2 227);TQ3_4S 133 vs DFlash2 162;5060 Ti 16GB TQ_XS 85 vs 130。DSpine 接受更多但草稿步更贵。本行 TQ3_4S·DFlash2 短提示 273 不变。2026-11-09作者补充散文/长文(同 3090、TQ3_4S,greedy,thinking off):DFlash2 243→131,DSpine 194→109(草稿接受率散文 36% vs 代码 78%)。273 主值属短提示 reasoning/代码口径,不改。 | 官方 | 2026-10-15 | 链接 |
| Qwen3.6-35B-A3B | IronMLX | MacBook Pro M5 Max 128GB(40 核 GPU) | 267.4 | IronMLX v0.2.0,B1:短提示 267.4(Splash 1.5.0 all 224.9,auto 250.0;oMLX 0.7.3rc1 234.6);30K 提示 189.3。Qwen3.8-27B 短提示 89.4,30K 66.5 | 宣称 | 2026-11-02 | 链接 |
| Qwen3.8-27B | Foundry Local | 1× RTX 5090 32GB | 266 | 微软博文官方对比图(RTX 5090):Foundry Local 生成速度 4K 265.82 / 16K 260.19 / 32K 234.26 / 65K 200.41 / 131K 212.36 / 260K 187.16;同设定 llama.cpp 150.60 / 164.45 / 151.73 / 146.91 / 109.68 / 96.11。数字从官方配图读取,非社区转述。微软自家 vs llama.cpp,非第三方复现。tok_s 取 4K 的 266(四舍五入) | 官方 | 2026-11-05 | 链接 |
| Qwen3.6-35B-A3B | DFlash | Mac Studio M3 Ultra | 251 | 251 tok/s | 宣称 | 2026-08-19 | 链接 |
| Qwen3.8-Flash-Next | Basalt | 2× RTX 5070 Ti 16GB + 96GiB RAM (AM4; CPU model not stated) | 229 | Basalt 0.3.0。主值取代码输出 decode 229(约 50K 提示后 5000 tok;第二次 248);agent 196;预填 3728/3851。int8 KV,--spec 8,resident-budget-gib 26。无原始文件,CPU 型号未写,降为宣称。同帖 IQ3_S 154–165、NVFP4 124.8、capy-flash 27B 233 另列不作本行。明确为代码任务 decode,非散文。 | 宣称 | 2026-11-09 | 链接 |
| Qwen3.6-35B-A3B-Escha-W2 | SGLang | RTX 4090 24GB | 225 | 225 tok/s 生成 | 宣称 | 2026-07-22 | 链接 |
| Qwen3.8-Flash-Next | Strata | RTX 4090 24GB + 32GB DDR5 | 220 | ≈220 tok/s TG;≈3,830 PP(帖文自述;配图为汇总卡片:218 thinking / 223 instruct,68K 提示 4,260 PP,无原始日志) | 宣称 | 2026-09-30 | 链接 |
| Qwen3.6-35B-A3B-Escha-W2 | SGLang | RTX 5080 16GB | 212 | 212 tok/s 生成 | 宣称 | 2026-07-22 | 链接 |
| Qwen3.8-Flash-Next | Speedy | 2× RTX 3080(解除 LHR FP16 限速)+ Threadripper PRO 5975WX + 128GB DDR4 | 211 | decode 最高 211,预填 4,270(只在标题和图中)。2026-11-11 Speedy 0.4.0 作者表(同机 2×3080 + 5975WX,speedbench,60K/120K/200K 冷提示):Q2_0 decode 约 190–245、IQ3_S 约 160、UD-IQ4_XS 约 145–185、UD-Q4_K_XL 125–160;1×3080 Q2_0 约 135–165。原主值 211 落在 Q2_0 区间内,但不从该表推断原帖量化,仍为未注明,主值不改。正文 unlocked 无固件证据,不新增 gpu-unlock。https://www.reddit.com/r/LocalLLM/comments/1xsrw7l/ | 宣称 | 2026-11-01 | 链接 |
| Qwen3.6-35B-A3B | Splash | Mac M5 Pro 48GB | 210 | 210 tok/s;143 @32K;32K 缓存后首 token 123ms(oMLX 816ms) | 转述 | 链接 | |
| Qwen3-0.6B | swizzle-rt | RTX 3050 Laptop GPU 4GB(sm_86,CUDA 12.8)+ Ryzen 7 170 笔记本 | 209.7 | swizzle-rt v0.1.0(Rust + CUDA,2026-11-12 发布),引擎发布帖与仓库 README 对比表(贡献者 @Paramveersingh-S 测,scripts/bench_compare_engines.py,5 次)。CUDA tg128 209.7 作主值(同表基线引擎 196.84,基线版本未写);pp512 11,804,TTFT 43.37 ms。edit256 759.75 为改写口径,不作主值。README 写的是 RTX 3050 Laptop GPU(帖中只写 4GB RTX 3050)。上下文与同时处理的请求数未写。无逐次原始数据,记为宣称。README https://github.com/Swizzle-AI/swizzle-runtime | 宣称 | 2026-11-14 | 链接 |
| Qwen3.5-0.8B | llama.cpp | PS5 Slim(破解) | 207 | 207 tok/s(项目 README 建议表) | 宣称 | 2026-10-17 | 链接 |
| Qwen3.6-35B-A3B | oMLX | Mac M5 Max | 205 | 156 → 205 tok/s(+31%) | 官方 | 链接 | |
| Qwen3.8-Flash-Next | ReVolta | 4× Tesla V100 32GB PCIe(无 NVLink,单 PCIe 交换芯片) | 200.5 | ReVolta 0.1.2 TP4+DCP2,贪心、思考关、512 token:单流英文代码 200.5(MTP4 162.7)、推理 195.4、中文 84.8–100.8;聚合(另计)8 请求 331.1(MTP4 357.2)。作者 X 帖写约 500 @8,与发布说明表不符,以表为准 | 官方 | 2026-10-24 | 链接 |
| Qwen3.8-Flash-Next | Strata | 2× RTX 4090 24GB(PCIe x8/x8,无 NVLink)+ Core Ultra 9 285K + 128GB DDR5-6600 | 200 | 单流解码平均约 200(峰值约 271);4 路平均约 253;prefill 峰值约 6,553;解码专家缓存命中 99.5–99.8%;限定:Strata 0.2.10 起 Auto 默认改用 DFlash2;双卡 decode 可能弱于 MTP 或弱于单卡(Strata #5206 双 4060 Ti 上 DFlash2≈MTP;#5172 双 RX 9070 比单卡慢 10–50%) | 宣称 | 2026-10-22 | 链接 |
| Qwen3.8-27B | TensorFold | 1× RTX 5090 32GB | 188.1 | TensorFold 1.2.7(stock)。prose decode(default window)188.1 作主值;code 195.2 另标。正文只写 default window,配置的上下文上限未写,不填。帖文在「8 requests at once, 4 streams」处截断,不补未读全的多路数字。无原始日志,降为宣称。窗内 TensorFold 1.2.7 首个第一手 5090 数字。 | 宣称 | 2026-11-12 | 链接 |
| Qwen3.8-Flash-Next | Strata | 1× RTX 5090 D 32GB | 187.2 | 262K 窗口占满 99.2%:4 路服务中单路独占 187.2;聚合(另计)4 路 314.0,8 路 405.5 | 宣称 | 2026-11-01 | 链接 |
| Qwen3.8-27B | ninfer | 2× Tesla V100 16GB(无 NVLink) | 180 | 180 tok/s(视频;KV Q8、MTP 4);作者评论:prefill ~2,000,85K 输入时 143(llama.cpp 35)。另一用户 2× V100 16GB SXM2、Q4_K_M 40–50(引擎未说明;帖主认为是 llama.cpp),非同配置复现 | 官方 | 2026-10-14 | 链接 |
| Qwen3.8-Flash-Next | capy-flash | 2× RTX 5070 Ti 16GB + R9 9900X + 96GB DDR5 | 178 | v0.7.4(LocalMaxxing reasoning-v1 验证运行,单流):NVFP4 2 卡 178;64K 预填 4,828;同机 3-bit 2 卡 234、1 卡 121(见 comm-070)。10-16 首帖为 ~100(同权重 Strata ~78) | 官方 | 2026-10-16 | 链接 |
| Qwen3.8-27B | tqLLM | RTX 5060 Ti 16GB | 175.9 | 短提示 175.9 tok/s(5 次中位,本地跑,未提交 LocalMaxxing);200K 提示 113 tok/s | 官方 | 2026-10-15 | 链接 |
| Qwen3.8-Flash-Next | Basalt | 1× RTX 5090 32GB(PCIe 5.0 x16,功耗上限 95%)+ i9-14900K + 160GB DDR5(4 条,5200 MT/s)+ RAID0 NVMe(Windows) | 170 | Basalt commit d10ccd4bc2,community-1 预设,NVFP4,int8 KV。表中 tg prose 170(接受率 65.1%)作主值;tg conv 172,tg struct 387(结构化输出,不作主值)。community-1 冷测 decode 297.7(9,480 token 用 31.8 s)口径不同,另标。预填 16K / 64K 为 5,727 / 7,487。帖附 community-row JSON(单行汇总,不是逐次数据)。上下文与同时处理的请求数未写。记为宣称。同组合他人行见 comm-072、comm-086。 | 宣称 | 2026-11-14 | 链接 |
| Qwen3.6-35B-A3B | FreeToken | RTX 4090 | 167 | 167 tok/s;峰值显存 23.55GB | 转述 | 链接 | |
| Qwen3.8-Flash-Next | Strata | 2× RTX 4090(PCIe 8x 封顶)+ ~45GB RAM | 165 | Strata v0.2.11:decode 约 165–210;256K 预填约 7,800(相对 0.2.9 大涨)。作者称 PCIe 封在 8x;batch/parallel 两项都明显掉速。tok_s 取区间下限 165 | 宣称 | 2026-11-06 | 链接 |
| Qwen3.8-27B | vLLM | 2× RTX 5090(P2P 驱动) | 160 | 160 tok/s(评论,无更多细节) | 宣称 | 2026-10-15 | 链接 |
| Qwen3.8-Flash-Next | Strata | RTX 5090 32GB(PCIe 5.0 x8)单卡引擎 + Ryzen 9 9950X + 96GB DDR5-6000(同机另有两张 RTX 3090 各跑一个引擎,三引擎共享约 50GB 内存专家区) | 160 | Strata 自建 v0.2.12 + PR #3341 + #5203(engine 0.1.58.2),control 0.1.58 + #3565。三个引擎共享内存专家区(--shared-expert-arena,约 50GB),--ple-io direct。本行为 5090 引擎:512K(YaRN ×2,KV q4_0),--batch 2 --batch-mtp,7 核。greedy 短提示,单独运行 decode 160–205,取下限 160;三引擎同时忙时 139–186。线上 15.5K 次请求 decode 中位 164(p90 192)。全机 4 流 合计 371–392,不作单流主值。无原始日志,记为宣称。3090 引擎见 comm-394。 | 宣称 | 2026-11-13 | 链接 |
| Qwen3.8-Flash-Next | Strata | RTX 5090(RAM 未注明) | 160 | 160 tok/s(同卡 llama.cpp 15 tok/s) | 转述 | 链接 | |
| Qwen3.8-Flash-Next | Strata | 4× Radeon AI PRO R9700 32GB | 158 | Strata 0.2.10 发布说明,UD-Q4_K_XL,全卡 split 引擎默认开启:1 用户 158(layer split 98);聚合(另计)8 请求 350(243);103K 提示 33 秒。IQ3_S 仍用 layer split:105,8 请求 318。社区复现 4× R9700 + 256GB RAM 约 70 → 140–160,预填约 3,200(reddit 1xmisvg,u/poofph)。旧值:0.2.8 为 67 | 官方 | 2026-11-03 | 链接 |
| Qwen3.8-Flash-Next-MLX-Serve-iQ-MLX-4.7bpw | mlx-serve | Mac Studio M5 Ultra | 157 | 157.0 tok/s 生成;5411.0 tok/s 读入 | 宣称 | 2026-10-01 | 链接 |
| Qwen3.8-Flash-Next | strata-mlx | Mac Studio M5 Ultra(内存未注明) | 156 | PR 9/10 合并后:Q2_0 中文 86→110、代码 127→170、英文 127→156;IQ3_S 95→112 / 127→161 / 118→137 tok/s(256 token,三轮中位);tok_s 取英文散文 Q2_0(不取代码 170) | 官方 | 2026-10-15 | 链接 |
| Qwen3.8-Flash-Next | Strata (TCP layer split fork) | 2 台 PC,各 1× RTX 5090(每台 14GB RAM,TCP layer split) | 155 | Strata fork 通过 TCP 跨两台机器做 layer split,专家全部在显存:约 155。同帖 Qwen3.8-27B AWQ 单 5090 vLLM 约 145 | 宣称 | 2026-11-03 | 链接 |
| Qwen3.8-27B | vLLM | 1× Radeon AI PRO R9700 32GB(300W,−50mV) | 154.4 | vllm-sly-radiance 1.8.1(ROCm 10.1),BetterBench 0.4.0:单流加权 154.4(code 186.5 / json 210.8 / prose 90.5);预填 1.5K 3,927 / 47K 3,370;聚合(另计)c8 480 / c16 512。权重是 abliterated(heretic)微调版 | 官方 | 2026-10-25 | 链接 |
| Qwen3.6-35B-A3B-Escha-W2 | SGLang | RTX 3090 24GB | 154 | 154 tok/s 生成 | 宣称 | 2026-07-22 | 链接 |
| Qwen3.8-Flash-Next | Strata | RTX 5090 + 64GB RAM | 151 | Strata 0.1.43.1:--resident-budget 解码 151 tok/s vs --resident-experts 139(后者 prefill 快 1.6×) | 宣称 | 2026-10-14 | 链接 |
| Qwen3.8-Flash-Next | Strata | RTX 5090(功耗限制)+ 96GB DDR5-6400 | 150 | 150–200 tok/s 解码;5–6K 读入 | 转述 | 链接 | |
| Qwen3.8-Flash-Next | TensorFold | Mac Studio M3 Ultra(内存未注明) | 147.8 | 单流 120.8→147.8(1.1.4→1.1.5);聚合(另计)8 流 154.8→180.2;预填不变 | 官方 | 2026-10-26 | 链接 |
| Qwen3.8-27B | Splash | Mac M5 Max | 144 | 144 tok/s(一个月前 DFlash 2 为 70) | 官方 | 链接 | |
| Qwen3.8-27B | vLLM | 1× RTX PRO 5000 72GB(Blackwell,驱动 595.99.02) | 140.7 | vLLM 0.29.0,--kv-cache-dtype fp8,MTP 3,--max-model-len 262144。NVFP4 单流 decode 140.7 作主值;200K 时 decode 94.3。同权重 FP8 单流 83.6、200K 时 33.2,只作备注。K=8/K=16 合计 300.0/321.0(FP8 197.9/200.6),不作单流主值。同帖榜单的 tok/s 是 agent 题目平均,不采用。无原始日志,记为宣称。 | 宣称 | 2026-11-12 | 链接 |
| Qwen3.8-Flash-Next-Gyro | Strata | RTX 5090 32GB | 140 | 140.0 tok/s 生成;4883.0 tok/s 读入 | 宣称 | 2026-09-30 | 链接 |
| Qwen3.8-Flash-Next | Strata | 2× RTX A6000 48GB(Linux) | 139 | 全卡 split 对 layer split(128K,3 组交替,3 次中位数):代码编辑 377–394 对 195;新代码 189–232 对 139–144;散文 139–146 对 93;agent 循环 165 对 112–119;32K 首 token 9.4 对 14.8 秒;聚合(另计)1/2/4/6 请求 108/169/212/224。tok_s 取散文下限 | 官方 | 2026-11-03 | 链接 |
| Qwen3.8-Flash-Next | Strata | 4× RTX 3090 24GB(275W 上限,无 NVLink,PCIe 3.0)+ Threadripper 2920X + 128GB(GPU1/3 x16,GPU0/2 x8) | 139 | Strata 0.2.13(engine 0.1.59),层切分,DFlash2 草稿,int8 KV,每层 32K KV 在显存,层 4–44 加 control vector。思考关,温度 0,单请求,每配置冷启动跑 2 次。4 卡(0+1+2+3)short decode 139–144,取下限 139;50K 后 85–96;冷读 2K/16K/50K 用 2.0/6.4/12 s;专家命中 99%。作者注:草稿接受数影响 tok/s。只有汇总表,无逐次原始数据,记为宣称。同帖 3 卡、2 卡见 comm-386、comm-387。 | 宣称 | 2026-11-13 | 链接 |
| Qwen3.8-27B | DFlash | RTX 3090 24GB | 138 | 82 原生 → 114 MTP → 138 DFlash2 tok/s | 转述 | 链接 | |
| Qwen3.6-35B-A3B-Escha-W2 | SGLang | RTX 5060 Ti 16GB | 128 | 128 tok/s 生成 | 宣称 | 2026-07-22 | 链接 |
| Qwen3.8-Flash-Next | Strata (Strata-rdna3 fork) | 2× RX 7900 XTX 24GB | 127 | 双卡散文 127(Q4);预填 7,000+。单卡见 comm-262;限定:Strata 0.2.10 起 Auto 默认改用 DFlash2;双卡 decode 可能弱于 MTP 或弱于单卡(Strata #5206 双 4060 Ti 上 DFlash2≈MTP;#5172 双 RX 9070 比单卡慢 10–50%) | 宣称 | 2026-11-05 | 链接 |
| Qwen3.8-Flash-Next | capy-flash | 1× RTX 5070 Ti 16GB + 64GB 内存 | 121 | 1 卡 121(LocalMaxxing 验证运行),replay decode 104;2 卡 239;2026-10-25 作者 v0.7.4 帖再次给出 1 卡 3-bit 121(已证实) | 官方 | 2026-10-22 | 链接 |
| Qwen3.6-35B-A3B | gbx | Mac Studio M3 Ultra(内存未注明) | 120.5 | gbx 120.5 / omlx 93.3 / Ollama 88.2 / mlx-vlm 82.0 / mlx-lm 76.3 tok/s 解码;开投机解码 gbx 176 vs omlx 156(厂商对比,引擎版本未注明) | 官方 | 2026-10-15 | 链接 |
| Qwen3.8-Flash-Next | 未注明 | RTX 5090 + 192GB RAM | 120 | 约 120 tok/s;冷 prefill 3,000–6,000(评论,数字较粗) | 宣称 | 2026-10-14 | 链接 |
| Qwen3.8-27B | llama.cpp | RTX 5090 32GB | 119 | 119.0 tok/s 生成。同卡其他档:GPU-2(2.88 bpw)111、GPU-3(3.01 bpw)108、GPU-4(3.23 bpw)104、GPU-5(3.84 bpw)94。限定:开 DFlash2(7 个草稿 token,仅文本)后 GPU-1 176、GPU-5 167,不作主值 | 宣称 | 2026-08-18 | 链接 |
| Qwen3.6-35B-A3B | RustingStrata | RTX 3060 12GB + Ryzen 5 7600X + 32GB RAM | 118 | decode 118(短)/ 113(4K);llama.cpp 68 / 66;预填约 2,216。2026-11-08同作者同机加 MTP:greedy 最高约 160(4K 后 152);短无 MTP 仍约 118。另帖 UD-Q5_K_M 短 70 / 4K 后 65(llama.cpp build 12119 为 43),不同量化不作覆盖。保留主值 118。2026-11-10同作者同机另测 Unsloth UD-Q3_K_M(5,290 token 提示,128 生成,3 次均值):RustingStrata 无 MTP 90.9 / MTP 128.4;同表 llama.cpp b12119 为 53.5 / 77.7。量化与主值 Q2_K_XL 不同,不覆盖 118。2026-11-13 同作者另帖(CUDA 与 Vulkan 对比):RTX 3060 12GB,同一 UD-Q2_K_XL 文件全在显存,MTP 关,4K 提示后 decode CUDA 113.4 / Vulkan 113.6(3 次均值),与主值行的 4K 值 113 一致。帖中未写 CPU 与内存,是否同一台主机未确认,只作备注。https://www.reddit.com/r/LocalLLaMA/comments/1xv9vie/ | 宣称 | 2026-11-01 | 链接 |
| Qwen3.8-Flash-Next-Gyro | llama.cpp (agentionai fork) | RTX 5090 32GB | 113 | 113.0 tok/s 生成;3000.0 tok/s 读入 | 宣称 | 2026-09-30 | 链接 |
| Qwen3.8-Flash-Next | Strata | 3× RTX 3090 24GB(275W 上限,无 NVLink,PCIe 3.0)+ Threadripper 2920X + 128GB(GPU1+2+3:x16/x8/x16) | 112 | 与 comm-385 同机同设置,只用 3 卡(1+2+3)。UD-Q4_K_XL short decode 112–137,取下限 112;50K 后 100–105;专家命中 95%。其他 3 卡顺序 119–134,作者称差异在噪声内。UD-Q5_K_XL 同 3 卡 91–93(PPL 2.4781,Q4 为 2.4919),只作备注。200K 对话:冷读 189,809 token 用 91 s,之后短问题 decode 78。只有汇总表,无逐次原始数据,记为宣称。 | 宣称 | 2026-11-13 | 链接 |
| Qwen3.8-27B | SGLang | 1× RTX PRO 6000 | 110 | SGLang 0.5.19,MiaAI-Lab RTX PRO 6000 配方(配方仓按 DSpark 命名)。同机同量化同引擎,三种草稿合一条。主值取配方默认 DSpark、短提示 prose decode(greedy,3 次中位,512 token)110;同口径 DFlash2 108、无草稿 58 写入本行。短提示 code:DFlash2 171 / DSpark 172;约 29K prose:DFlash2 59 / DSpark 57 / 无草稿 40。上下文配置未写,不填。方法有,无原始日志,降为宣称。 | 宣称 | 2026-11-11 | 链接 |
| Qwen3.8-Flash-Next | Strata | RTX 3090 24GB(PCIe 4.0 x8)单卡引擎 + Ryzen 9 9950X + 96GB DDR5-6000(同机:RTX 5090 与另一张经 OCuLink PCIe 4.0 x4 的 RTX 3090 各跑一个引擎,共享内存专家区) | 110 | 与 comm-393 同机同构建。本行为 PCIe 4.0 x8 的 3090 引擎:256K,1 槽,5 核。greedy 短提示,单独运行 decode 110–120,取下限 110;三引擎同时忙时 98–111。OCuLink x4 的 3090 引擎单独 113–127,三引擎同时 90–125;把该引擎加宽到 9 核(8 workers)后单独 134–136,但两张 3090 同时加宽时都降到 27–47。只作备注。无原始日志,记为宣称。 | 宣称 | 2026-11-13 | 链接 |
| Qwen3.8-27B | 未注明 | 2× Intel Arc Pro B70 32GB | 109 | decode 109,预填 1,700。帖文没写引擎和量化 | 宣称 | 2026-11-03 | 链接 |
| Qwen3.8-Flash-Next | Kapitsa | MacBook Pro 16 M5 Max 128GB | 108 | Kapitsa 0.2.26,3 次中位:decode 108,4K 预填 1,701;32K 时 decode 78。48GB MacBook Pro 用 SSD 卸载专家可跑 61 | 宣称 | 2026-11-01 | 链接 |
| Qwen3.8-27B | TensorFold | DGX Spark | 102.9 | 102.9 vs 34.9 tok/s(vLLM+MTP) | 转述 | 2026-09-27 | 链接 |
| Qwen3.8-Flash-Next | Strata | 1× Intel Arc Pro B70 | 102.7 | 170K–245K 上下文:decode 102.7(前一天 92.7);170K 冷提示读入 3.4K;小轮次读入约 250 ms;pi 编程 agent 11 个任务全部完成 | 宣称 | 2026-11-02 | 链接 |
| Qwen3.8-27B | Radiance | 1× Radeon AI PRO R9700 32GB | 100.2 | Radiance m2xfp 分支,BetterBench 0.6.1,32K、fp8 KV:单流 8 类均值 100.2(code 95.8 / math 136.4 / chat 66.1);预填 2K 2,424 / 32K 2,651;聚合(另计)8× 362.1。模型卡标题写 83,以表格为准 | 官方 | 2026-10-25 | 链接 |
| Qwen3.8-Flash-Next | Strata | 2× RTX 3090 24GB(一张 PCIe 4.0 x8 主卡;一张 PCIe 3.0 x1 转接线作 helper)+ Ryzen 5 8600G + 61GiB(Arch Linux) | 99 | Strata engine 0.1.59.1,本地构建(v0.2.13.1-88-gdbb2d168)。层切分 15,STRATA_STAGE_TRIM=1,--pipeline-windows 2 + STRATA_MTP_STAGE0=1,--spec 4,--kv int8,--max-context 262144,PLE Q8_0 用 --ple-io direct。冷探针 decode 99–110,取下限 99;同配置实际聊天 57 次中位 100.8(77–123)。冷读 20.7K 约 2,122。x1 转接线卡作 helper 放层 0–14。作者称原始数据 zip 只在请求时附上,issue 内未公开,记为宣称。 | 宣称 | 2026-11-12 | 链接 |
| Qwen3.8-27B | llama.cpp | 1× RTX 4070 SUPER 12GB(用 11.3GB 显存) | 98 | llama.cpp 1.0.0,上下文 80K,MTP n=4,显存用 11.3GB。bench decode 98(作者称比前一版本快 10.7%)。FP8 KV 能加载,但随后超出显存。测试工具与同时处理的请求数未写。无原始日志,记为宣称。 | 宣称 | 2026-11-14 | 链接 |
| Qwen3.8-27B | llama.cpp | 1× RX 7900 XTX 24GB + Ryzen 5 5600G(iGPU 跑桌面)+ 32GB DDR4-2400 | 97 | vansh-visariya/rx7900-xtx(llama.cpp 0.4.1-dev build 65,作者明写 commit 370042c;基于 LM Studio 2.43.0 / f95b0d953,Vulkan)。decode 约 97–110,取下限 97 作主值;代码输出尖峰 130–150 另标。预填约 890–1015。配置 --ctx-size 161785,q8_0 KV,DFlash2。完整启动命令在帖内。无原始逐次记录,降为宣称。与 comm-370(叉作者、eGPU 笔记本主机、UD-Q4_K_M、测量提交 8a0b44bdd)不同,单列。 | 宣称 | 2026-11-12 | 链接 |
| Qwen3.8-Flash-Next | Strata | 2× RTX 3090 24GB(275W 上限,无 NVLink,PCIe 3.0)+ Threadripper 2920X + 128GB(GPU1+3,均 x16) | 96 | 与 comm-385 同机同设置,只用 2 卡(1+3,均 x16)。UD-Q4_K_XL short decode 96;50K 后 83–90;专家命中 88%。x8 对(0+2)decode 90–95,作者称 PCIe 宽度不影响 decode,只影响读入。UD-Q5_K_XL 同 2 卡 68–69,只作备注。只有汇总表,无逐次原始数据,记为宣称。 | 宣称 | 2026-11-13 | 链接 |
| Qwen3.8-Flash-Next | Strata | Strix Halo + Radeon AI PRO R9700 | 96 | Strata 0.2.11 + Unsloth Dynamic 3.1:单流 96@4×256k 上下文。作者称相对旧量化明显更好。注:Dynamic 文件版本与其他后端不可直接比。tok_s 取 96 | 宣称 | 2026-11-06 | 链接 |
| Qwen3.8-Flash-Next | vLLM | 2× DGX Spark(QSFP 直连,TP2) | 95 | NVIDIA cluster playbook 命令(镜像 vllm-flash-next:8244d1c),fp8 KV:单流 JSON 98 / code 95 / rewrite 75 / explain 74(5 次中位数,temperature 0.7);没测聚合 | 官方 | 2026-10-25 | 链接 |
| Qwen3.8-Flash-Next | Splash | Mac M5 Pro 20C GPU 64GB(机型未注明) | 95 | Splash 1.4.0 发布说明 / README:短提示解码 95 tok/s(中位每 token 10.57 ms);32K 提示读入 1,312 tok/s(34,980 token / 首 token 26.66 s);重放提示首 token 171 ms(16/16 命中缓存);4 路并发合计 171 tok/s。PR #521 对比:同 GGUF、同一台 Mac、同提示,Strata 解码 71.4 tok/s,读入 974 tok/s,重放 32K 首 token 36.3 s(无缓存命中),4 路合计 69.9 tok/s。Strata 上下文设为 64K,Splash 未写上下文设置,所以对比不完全对等。发布推文写“最高 120 tok/s”,发布说明和 README 里没有 120 的数据,tok_s 取 95 | 官方 | 2026-10-20 | 链接 |
| Qwen3.8-Flash-Next | Strata | RTX 5070 12GB + Ryzen 5 7600 + 64GB DDR5 | 94 | 94 tok/s 生成;2,650 tok/s 读入(32K 提示) | 官方 | 链接 | |
| Qwen3.8-Flash-Next | Strata | 2× RX 7900 XTX 24GB(各 PCIe 4.0 x8)+ Ryzen 7 5800X + 64GB DDR4(ROCm 7.2.4,Linux) | 92 | Strata-rdna3 fork fa5c621(nicejunjie,TP2)。同一作者同机同方法:112 / 3.5K / 32K 提示,512 生成,每档 3 次中位。主值取 112-token 提示。decode 中位 92 / 104 / 99,主值 92。64GB 下需 --resident-budget-gib 24。agent 运行中约 47K token 处两次出现 non-finite logits(#879),已写明。上下文未写,不填。有对照表,无原始逐次文件,降为宣称。 | 宣称 | 2026-11-12 | 链接 |
| Qwen3.8-Flash-Next (abliterated) | Strata | 1× RTX 3090 24GB | 91 | Strata 0.2.10 + DFlash2,16K 上下文:代码 110 / 英文 91,预填 1.8K。2×3090:代码 151 / 英文 126,预填 2.6K;128K 时双卡代码仍 147。量化文件为 Unsloth 11-04 重传的 Dynamic V3.1(d9620119);Strata #5296 记 gfx1151 上该文件 prefill 慢 40–55%,本条为 CUDA 3090。tok_s 取英文 91 | 宣称 | 2026-11-05 | 链接 |
| Qwen3.8-Flash-Next | MLX | Mac M5 Max 128GB | 90 | 90 tok/s(另一帖 73.5 @262K) | 转述 | 链接 | |
| Qwen3.8-Flash-Next | llama.cpp (pentacoxian_dev fork) | 2× Tesla V100 32GB PCIe(x8,无 NVLink) | 90 | llama.cpp 双 V100 fork 现在支持普通 PCIe:decode 90–180(随请求变化),预填最高 2,400。tok_s 取下限 | 宣称 | 2026-11-04 | 链接 |
| Qwen3.8-Flash-Next | Strata | 1× RTX 5070 Ti 16GB + Ryzen 7 9800X3D + 64GB DDR5(16GB×4) | 90 | Strata Terminal 0.2.13,引擎版本按作者原文照录为“0.1.5.9”(未改写),Tune 设置部分修改,前端 DeepSeek Harness(WebUI)。实际作业中 decode 90–100,取下限 90 作主值;预填 2,700–3,000。上下文与同时处理的请求数未写。配置帖,无原始数据,记为宣称。 | 宣称 | 2026-11-14 | 链接 |
| Qwen3.8-Flash-Next | Avalon | 1× RX 7900 XTX 24GB(整机另有一张同型号空闲)+ Ryzen 7 5800X + 64GB DDR4(ROCm 7.2.4,Linux) | 89 | Avalon 8c4e4753c,单卡。同一作者同机同方法:112 / 3.5K / 32K 提示,512 生成,每档 3 次中位。主值取 112-token 提示。decode 中位 89 / 98 / 88,主值 89。当前 main 26a215567 在 32K 提示崩溃(作者已报上游),不收作主值。上下文未写,不填。降为宣称。 | 宣称 | 2026-11-12 | 链接 |
| Qwen3.8-27B-MTPLX-Optimized-Speed | MTPLX | MacBook Pro M5 Max | 87.6 | 87.6 tok/s 生成;3K token 聊天回答 64.3 | 宣称 | 2026-08-14 | 链接 |
| Qwen3.8-27B ASCII-Condensed | llama.cpp (achyudh Adaptive KV Streaming fork) | AMD RX 9070 XT 16GB(gfx1201,PCIe 5.0 x16,ROCm 7.2.3) | 86.51 | Fork+MTP 解码:71.83@1k / 86.51@4k / 81.11@16k / 72.89@64k / 78.60@128k / 31.08@262k tok/s(表列 This Fork + MTP;启动含 draft-mtp,ngram-mod,ngram 是否计入未单独说明);无 MTP:36.53→9.50;prefill 1,368–1,517 → 586(262k);贪婪 T=0,128 输出 token,300W TDP | 官方 | 2026-10-17 | 链接 |
| Qwen3.8-Flash-Next | 未注明 | Mac Studio M5 Ultra | 85.9 | 单路 85.9 tok/s,长提示 prefill 6,085 tok/s | 转述 | 2026-09-25 | 链接 |
| Qwen3.8-Flash-Next | Strata | 1× RTX 5090 32GB + Ryzen 9 9950X3D + 96GB DDR5-6400 + 9100 PRO Gen5(Ubuntu) | 85.5 | Strata engine 0.1.59(linux-cuda-sm120)+ Control 0.1.59.1,STRATA_ADAPT_FETCH=2。24h 遥测单流 decode 85.5–96.0(取下限 85.5;176K 上下文、REUSED=0)。双 agent 时主流 58–67 另标,不作单流主值。配置 262,144,8-bit KV,MTP 5。仅截图与文字区间,无原始日志,降为宣称。 | 宣称 | 2026-11-12 | 链接 |
| Qwen3.8-Flash-Next-oQ4e-mix6-mtp | oMLX | MacBook M5 Max 128GB | 84.4 | 84.4 tok/s 生成;2377.1 tok/s 读入 | 宣称 | 2026-10-10 | 链接 |
| Qwen3.8-Flash-Next | oMLX | Mac M4 Max 128GB | 83 | 最佳 83 tok/s;4 流合计 224 | 转述 | 链接 | |
| Qwen3.6-35B-A3B | PXA | 1× Tesla V100 16GB | 82 | decode 82–89(同机主线 llama.cpp 的 2.3–2.5 倍)。其他:Nemotron-3-Nano-30B-A3B(专家在内存)106–115;Gemma-4-26B-A4B 123–128;Qwen3.8-27B 42–97(97 为代码);2× P100:Nemotron-3.5-Bolt-74B-A9B 44–45,Super-VL-120B 24–26 | 宣称 | 2026-10-30 | 链接 |
| Qwen3.8-Flash-Next | Strata (Strata-rdna3 fork) | 1× RX 7900 XTX 24GB | 81 | Strata-rdna3 fork(github.com/nicejunjie/Strata-rdna3,58★):散文最高 81,代码再高 20–25%;预填 3,500+。双卡见 comm-263 | 宣称 | 2026-11-05 | 链接 |
| Qwen3.8-Flash-Next | Strata | 双卡:Tesla V100 16GB + V100 32GB + 64GB RAM | 80 | 代码任务 80 tok/s(MTP) | 宣称 | 2026-10-15 | 链接 |
| Qwen3.8-Flash-Next | Strata | 2× RTX 5060 Ti 16GB(层切分,主卡 + helper)+ i5-12600KF + 62.6GiB(Ubuntu 26.04) | 79.5 | Strata commit 628f7495,engine 0.1.59,release 构建;--draft dflash2 --spec 6,KV int8,层切分 auto。配置 204,800,1 槽。strata bench run standard 完整跑(思考开,温度 1.0):short decode 中位 79.5(76.8–79.9,3 次)作主值;4K 66.4,16K 72.8;读入 4K/16K 838/1,600。sanity 12/12。正文是 runner 报告,但 results.json 与 outputs.jsonl 未附在 issue,记为宣称。同类 2× 5060 Ti 的 IQ2_XS 行见 comm-194。 | 宣称 | 2026-11-13 | 链接 |
| Qwen3.8-Flash-Next | Strata | Arc Pro B70 32GB(x16)+ Arc Pro B60 24GB(x8),EPYC 7443 + 128GB DDR4-3200(层切分 k14) | 77.9 | Strata engine 0.1.59.1(仓库 v0.2.13.1),SYCL 层切分 k14,上下文 262K。IQ2_XS 两轮 all-sample decode 中位 77.9 作主值(相对同机 IQ3_S 0.1.56 锚点 71.4 约 +9%)。BetterBench 原始 results.json 在作者机器上,issue 未附,故为宣称。正文称 server-class host,未见机架/机箱证据,按工作站收录。DFlash2 在 SYCL 切分上不可用。 | 宣称 | 2026-11-11 | 链接 |
| Qwen3.6-35B-A3B | llama.cpp | 1× RTX 3060 12GB + Ryzen 5 7600X + 32GB RAM | 77.7 | 11-10 窗口补录(当日以备注并入 comm-216,引擎不同,现单列)。llama.cpp b12119,--spec-type draft-mtp:decode 77.7 作主值(3 次;92/102 草稿接受)。无 MTP 的 llama-bench 为 53.5(-p 5290,-ncmoe 22)。MTP 行提示约 5,381 token,与无 MTP 行 5,290 不完全相同。-c 未写,上下文不填。同机 RustingStrata 数字已写在 comm-216,不覆盖。无原始日志,故为宣称。 | 宣称 | 2026-11-10 | 链接 |
| Qwen3.8-27B | llama.cpp | 1× RTX 4090 24GB | 75.3 | llama.cpp b12017,draft-mtp n=3:decode 43.1 → 75.3(短提示);预填 440 → 275 | 宣称 | 2026-10-31 | 链接 |
| Qwen3.8-27B | llama.cpp | 1× RTX 5090 32GB | 75.2 | 窗口外补录(测于 2026-10-15,由 @llmspeed 窗口内引用)。llm-speed 签名跑分 r_qfrb2zmyk0k,suite-v1,llama.cpp b11669。chat-short decode 75.19,主值记 75.2(预填 563.4,TTFT 273 ms,逐 token 延迟 p50 13.2 ms);chat-long 74.57 另标。配置的上下文上限未写,不填。基线无同组合(llama.cpp × Q4_K_M × 5090 × Qwen3.8-27B)条目。llm-speed 页面只有汇总与签名,没有原始记录和完整服务设置,记为宣称。 | 宣称 | 2026-10-15 | 链接 |
| Qwen3.8-Flash-Next | Strata | 2× RX 7900 XTX 24GB(各 PCIe 4.0 x8)+ Ryzen 7 5800X + 64GB DDR4(ROCm 7.2.4,Linux) | 75 | 上游 Strata 双卡,量化与硬件相同,0.2.11(76)与 0.2.13.1(75)合为一条;主值取当前 0.2.13.1 的 75(3.5K 88 / 32K 75 另标)。同机 0.2.11 为 76(3.5K 83 / 32K 82),作者称与 0.2.13.1 在往返噪声内。上下文未写,不填。降为宣称。 | 宣称 | 2026-11-12 | 链接 |
| Qwen3.8-27B | Radiance | 1× Radeon AI PRO R9700 32GB + Ryzen 5 7600(Windows 11 26200 + WSL2,Adrenalin 26.10.1) | 75 | Radiance 1.17.0,按上游源码与 Dockerfile 构建,加 bruns20/radiance-wsl 的 4 个 WSL 补丁(非官方;补丁仓库未钉 commit),ROCm 10.3 nightly 运行时。131K 上下文。decode prose 约 75–80,取下限 75;code 145–160 另标;读入 9.4K/36K 为 3,223/2,784;约 8 s 开始服务。Linux 原生 Radiance 见 comm-101。无原始日志,记为宣称。补丁 https://github.com/bruns20/radiance-wsl | 宣称 | 2026-11-13 | 链接 |
| Qwen3.5-35B-A3B | FreeToken | 1× RTX 4080 16GB | 75 | FreeToken 移植 + 学习式专家预测和换出:75(只测了代码和短提示,概念验证) | 宣称 | 2026-11-03 | 链接 |
| Qwen3.8-27B | DFlash | Mac M5 Pro 48GB | 74 | 74 tok/s 短提示;54 @32K;4 agent 合计 3.9×(oMLX 38 / Ollama 24) | 官方 | 链接 | |
| Qwen3.6-35B-A3B | Ollama | 1× DGX Spark | 73.5 | 256 token 热启动:1 节点 73.5 tok/s;经 RPC 拆到 2 节点 50.7 | 官方 | 2026-10-15 | 链接 |
| Qwen3.8-Flash-Next-MTPLX-Optimized-Speed | MTPLX | MacBook Pro M5 Max 128GB | 73.5 | 73.5 tok/s 生成;同任务关 MTP 43.8;200K token OpenCode 回合(预热,两次均值)50.3;2.12.0 下 65K 提示后解码 63.5,预填 1,094 | 宣称 | 2026-08-28 | 链接 |
| Qwen3.8-Flash-Next | gufo | Strix Halo(型号与内存未注明) | 73.17 | 单用户 73.17,pp 1,801;聚合(另计)8 用户 194.37;同引擎 Qwen3.8-27B Q4_K_XL + DFlash2 70.56 | 宣称 | 2026-10-26 | 链接 |
| Qwen3.8-Flash-Next | Strata | 1× Radeon AI PRO R9700 32GB + Ryzen 9 9900X + 64GB RAM | 72.9 | engine 0.1.59.1 HIP,本机构建自 dbb2d168。strata_bench 默认套件,思考关,温度 0。等槽位扫(9,117 slots)中,代码默认 DFlash2(conf 0.5,--spec 6)短对话 72.9 作主值;MTP 基线 --spec 4 为 70.8,复测 67.9(作者称 4.1% 属噪声,不以首次 70.8 作主值);conf 0.5 + --spec 8 为 74.5 另标。上下文 262,144,--kv int8。issue 未附 results.json,故为宣称。 | 宣称 | 2026-11-11 | 链接 |
| Qwen3.8-Flash-Next | oMLX | MacBook Pro M5 Max 128GB | 72 | oMLX 0.7.4.dev1:decode 72,预填 2,200 | 宣称 | 2026-11-05 | 链接 |
| Qwen3.8-Flash-Next | Strata | 2× Intel Arc Pro B65 32GB | 71 | 5 组配对运行:聊天 71–74(0.2.7.1 为 60–63),JSON 80–83(之前 67–68),prompt 快约 7–13%;回答与之前相同。只适用于正好两张 Arc B 系列卡 | 官方 | 2026-10-29 | 链接 |
| Qwen3.8-Flash-Next | vLLM | NVIDIA RTX Spark(Windows) | 70.44 | SPEED-Bench 编码 70.44(NVIDIA 的 llama.cpp RTX Spark 配方 35.37);AA-AgentPerf 734 s 对 1,118 s;最多 16 并发 | 宣称 | 2026-10-31 | 链接 |
| Qwen3.8-Flash-Next | Strata | 1× RX 7900 XTX 24GB(整机另有一张同型号;单卡测量)+ Ryzen 7 5800X + 64GB DDR4(ROCm 7.2.4,Linux) | 69 | Strata 0.2.13.1 单卡,128k 上下文。同一作者同机同方法:112 / 3.5K / 32K 提示,512 生成,每档 3 次中位。主值取 112-token 提示。decode 中位 69 / 72 / 72,主值 69。与双卡 comm-375 卡数不同,单列。降为宣称。 | 宣称 | 2026-11-12 | 链接 |
| Qwen3.8-27B | TensorFold | Mac M5 Max 128GB | 69 | TensorFold 0.3.4.1(经 LLMKube Metal agent 服务;作者注当前为 1.2.5,本行不代表 1.2.5)。单流散文 essay decode 69(引擎 per-request 统计)。30 次长输出加权 129(含代码/YAML)另标不作主值;关草稿 24。分负载:改写 Go 文件 231(峰 359)、K8s YAML 160、Go 包 144、代码审查 104。输出长 2.7K–8.2K token。上下文设置未写,不填。无公开原始日志,降为宣称。机型只写 M5 Max 128GB,未区分笔电或台式。 | 宣称 | 2026-11-10 | 链接 |
| Qwen3.8-Flash-Next | llama.cpp | RTX 4090 / RTX 5090 + 系统内存 | 68 | 4090: 25→最高 41;5090: 31→最高 68 tok/s | 官方 | 链接 | |
| Qwen3.8-Flash-Next | TensorFold | 2× DGX Spark | 67.4 | 67.4 / 89.3 tok/s(后者作者称通用能力约降 10%) | 转述 | 链接 | |
| Qwen3.8-Flash-Next | Strata | 1× RTX 3090 24GB(功耗限制 280W)+ Xeon Gold 6248 + 192GB DDR4 ECC | 65.95 | Strata v0.1.58(引擎遥测;精确 Git commit 未记录)。自定义长上下文推理套件,非标准 strata bench。12 次请求遥测 decode 中位 65.95(59.5–83.5)作主值。上下文 524,288,由 262,144 经 YaRN 2x 扩展。正文提到 Zagitta/gpu-unlock 已启用,但修订/启动证据未存档、无对照,不加 gpu-unlock 标签。无现场 JSON,故为宣称。未见机架证据。 | 宣称 | 2026-11-11 | 链接 |
| Qwen3.8-27B | llama.cpp | AMD Strix Halo | 65.6 | 最高 65.6 tok/s 解码 | 转述 | 2026-08-26 | 链接 |
| Qwen3.8-27B | llama.cpp | 1× RX 7900 XTX 24GB(限 291W,Vulkan)+ i7-9700 + 32GB 内存(Linux 7.3;机内另有一张 GeForce 2060,本项未用) | 65.3 | llama.cpp 1.0.0(build b12359),Vulkan,上下文 262,144,4-bit K/V 缓存,batch 2048/512,MTP 最多 2 个草稿。62 token 提示时 generation 65.3 作主值;3,631 / 33,002 token 提示为 57.0 / 55.8;133,561 token 提示时 Vulkan 设备丢失,无输出。2026-11-13 测。作者在 LexiSuite 对比帖中把它作为对照;同帖 LexiEngine 76.8 没有引擎版本,未收。同时处理的请求数未写。有表,无原始日志,记为宣称。 | 宣称 | 2026-11-13 | 链接 |
| Qwen3.6-35B-A3B | 未注明 | 1× DGX Spark | 65 | 65 tok/s;1,960 PP | 转述 | 链接 | |
| Qwen3.6-35B-A3B | moex | RTX 4050 笔记本 6GB | 65 | moex decode 约 65,预填约 750;同一台笔记本 ik_llama.cpp 36,llama.cpp 33。moex 开了 MTP 投机解码,对照组没开 | 宣称 | 2026-10-30 | 链接 |
| Qwen3.8-27B + tencent/Qwen3.8-27B-DSpine-b16 | dspine-hybrid-mlx | MacBook Pro M5 Max 128GB | 64.7 | dspine-hybrid-mlx v0.2.0(8b3fad6bc)。thinking on、512 新 token、10 题:4-bit 目标 64.7(对照 plain mlx-lm 31.9);thinking off 68.8 / --adaptive 71.0。长提示测到 33K(峰值内存 29GB)时 57.3。README 表 + pip 安装与命令;引擎作者实测。上下文上限未写死,不填默认。 | 宣称 | 2026-11-09 | 链接 |
| Qwen3.6-35B-A3B | TensorFold | Surface Laptop Ultra / RTX Spark N1X(WSL2 ARM64,CUDA 13.4) | 64.2 | TensorFold Engine 1.2.3:64.15 tok/s;TTFT 44.9ms;1,024 tokens / 15.95s;MTP 开。附截图。tok_s 取 64.2(四舍五入自 64.15) | 宣称 | 2026-11-06 | 链接 |
| Qwen3.8-Flash-Next | 未注明 | RTX 3090 24GB + 64GB DDR4/5 + 100GB NVMe | 64 | c1 解码 64 tok/s;预填充 2,000 / 2,800 tok/s | 宣称 | 2026-09-29 | 链接 |
| Qwen3.6-27B-MTPLX-Optimized-Speed | MTPLX | MacBook M5 Max | 63.056 | 63.056 tok/s 生成 | 宣称 | 2026-05-03 | 链接 |
| Qwen3.8-Flash-Next-MLX-Serve-mixed-4 | mlx-serve | Mac Studio/MBP M4 Max 128GB | 60 | 60.0 tok/s 生成;730.0 tok/s 读入 | 宣称 | 2026-08-27 | 链接 |
| Qwen3.8-Flash-Next | Strata | AMD RX 9070 XT 16GB + 47GB RAM | 60 | 60 / 52 tok/s;1,160 / 1,110 读入 | 官方 | 链接 | |
| Qwen3.8-Flash-Next | Strata | RTX 4090 + 64GB RAM | 60 | 60 tok/s;2,500 PP | 转述 | 链接 | |
| Qwen3.8-Flash-Next | Strata | 2× Tesla V100 32GB(二手) | 60 | 60–88 tok/s | 转述 | 链接 | |
| Qwen3.8-Flash-Next-Gyro | llama.cpp (agentionai fork) | AMD Radeon AI PRO R9700 32GB | 57.8 | 57.8 tok/s 生成;1246.0 tok/s 读入 | 宣称 | 2026-09-30 | 链接 |
| Qwen3.8-27B | TensorFold | Mac Studio M4 Max | 57.2 | DFlash2:代码 99.4 / 散文 57.2(无 draft 24.9)。tok_s 取散文 57.2 | 宣称 | 2026-11-05 | 链接 |
| Qwen3.8-Flash-Next | Halowin Bubo | AMD Strix Halo 笔记本(70W) | 57.1 | Bubo 0.1.2:散文 57.1,agent 66.2,代码编辑 109;32K 预填 1,639(fast mode)。同文件对照 gufo。tok_s 取散文 57.1 | 宣称 | 2026-11-05 | 链接 |
| Qwen3.8-27B | llama.cpp | 1× Intel Arc Pro B70 32GB + Threadripper 1950X + 128GB DDR4 (X399 PCIe3) | 56.5 | llama.cpp v0.9.0 SYCL(GGML_SYCL_F16=ON,bmg-g31)+ MTP draft n4,q8_0 KV。16K 实测 decode 56.5 / 预填 1032;64K 52.7 / 756。卡上最大约 223K。作者评论给完整构建与 llama-server 命令;无原始 results 文件,按原始数据规则降为宣称。帖中 5090 数字为他人数据,非本条。 | 宣称 | 2026-11-09 | 链接 |
| Qwen3.8-Flash-Next (turbo-brilliance-abliterated) | Strata | HP Z840 TrueNAS KVM 直通:2× RTX 3060 12GB 层切分(Gen3 x16,双 Xeon 56 线程,96GB 给虚拟机) | 56 | Strata 0.1.43.1,TrueNAS 上 KVM vfio 直通。双卡第 2 次(较热)decode 56.0 作主值;第 1 次 43.6。作者注明稳态尚未复测,按作者自称照录。配置 262,144,MTP。客户端计时,无引擎原始日志,降为宣称。 | 宣称(自称) | 2026-11-12 | 链接 |
| Qwen3.5-9B | llama.cpp | PS5 Slim(破解,GPU 共享内存约 11.4 GB 给模型) | 55 | 55 tok/s(项目 README 建议表) | 宣称 | 2026-10-17 | 链接 |
| Qwen3.8-Flash-Next | Strata | RTX 5070 12GB + 64GB DDR5 | 53 | 53 tok/s;1,620 tok/s 读入 | 官方 | 链接 | |
| Qwen3.8-27B | PLI | Mac Studio M1 Ultra 64GB | 53 | PLI 4.0.0 预发布:写入 34–111,提示读入 191–323;GPU、CPU 和神经网络引擎一起用;PLI 4.0.0 正式版(2026-11-03):1K 53 / 64K 41 / 96K 34;llama.cpp 25 / 96K 15.5;25 轮 agent 会话 47(llama.cpp 23);测试 prompt 在仓库中 | 宣称 | 2026-11-03 | 链接 |
| Qwen3.8-Flash-Next | Strata | 1× Intel Arc Pro B65 32GB + Ryzen 9 5900XT + 72GB RAM(Linux 7.0 xe) | 51.98 | Strata engine 0.1.59(上游 628f7495,SYCL JIT,oneAPI 2026.1.1)。20 轮真实 agent 回放(采样,接受率 70%)整段 decode。出厂驻留排名两次冷启动 51.98 / 51.97,主值 51.98。同回放学得的排名 56.63(+8.9%)另标,不作覆盖。配置 --context 256k,int8 KV,MTP --spec 4。无原始逐轮文件,降为宣称。 | 宣称 | 2026-11-12 | 链接 |
| Qwen3.8-Flash-Next | Strata | 笔记本 RTX 5070 Ti 12GB + Intel 275HX + 64GB DDR5 + Gen4 SSD | 51 | 51 tok/s 生成,1,500 tok/s prefill(llama.cpp 23) | 转述 | 2026-09-30 | 链接 |
| Qwen3.8-Flash-Next | Strata | 2× RTX 4060 Ti 16GB + Ryzen 5 5600 + 128GB DDR4(Ubuntu) | 51 | Strata 0.2.10 all-cards split(双卡同时算每一层)加补丁,专家放系统内存:短 prompt 51–60(MTP)。补丁和步骤见 github.com/Niko1221/Strata/issues/5187。tok_s 取下限;限定:Strata 0.2.10 起 Auto 默认改用 DFlash2;双卡 decode 可能弱于 MTP 或弱于单卡(Strata #5206 双 4060 Ti 上 DFlash2≈MTP;#5172 双 RX 9070 比单卡慢 10–50%) | 宣称 | 2026-11-04 | 链接 |
| Qwen3.8-27B | llama.cpp | RTX PRO 4000 Blackwell SFF 24GB(70W) | 50.441 | 50.441 tok/s 生成;同卡原版 llama.cpp b10454(4df29be4f)45.422;256K 满缓存解码 12.606,预填 226.75 | 宣称 | 2026-08-17 | 链接 |
| Qwen3.8-Flash-Next SC117 abliterated | Strata | 1× AMD RX 6900 XT 16GB + Ryzen 7 7800X3D + 64GB DDR5(Ubuntu 26.04) | 50 | 短追问 decode 50–64(调优前 26–37);预填 9.7K 约 1,200–1,300,119K 约 1,240–1,300 | 宣称 | 2026-10-30 | 链接 |
| Qwen3.8-27B | TandemLLM | 1× DGX Spark | 49.9 | StairCut 投机解码前后 13.7 → 49.9 tok/s(出自 TandemLLM 手册介绍帖)(手册中该数字属实测/计算/估算哪一类未核实) | 官方 | 2026-10-15 | 链接 |
| Qwen3.8-27B | vLLM | 1× RTX 3090 24GB(专用;显示接 3090 Ti) | 48.7 | vLLM v0.31.0,--gpu-memory-utilization 0.94。作者原话:该 AWQ 与同配方 abliterated 构建均为约 40K KV cache、48.7 tok/s。官方 AMD Quark 构建在 24GB 上转换权重时 OOM,未能加载。Honcho JSON 200/200。约 40K 是实测 KV 占用,不是写明的配置上限,上下文不填。无原始日志,降为宣称。 | 宣称 | 2026-11-10 | 链接 |
| Qwen3.8-27B-MTPLX-Optimized-Quality | MTPLX | MacBook Pro M5 Max | 48.3 | 48.3 tok/s 生成 | 宣称 | 2026-08-14 | 链接 |
| Sage-A1.5(Qwen3.6-35B-A3B finetune) | llama.cpp | 1× RTX 3060 12GB + 16GB RAM | 48 | 约 48 decode / 约 665 预填;258K 填满时仍约 15 decode。附完整 llama-server 参数。tok_s 取约 48 | 宣称 | 2026-11-06 | 链接 |
| Qwen3.8-27B | Foundry Local | 1× DGX Spark | 44.6 | 微软博文官方对比图(DGX Spark):Foundry Local 生成速度 4K 44.58 / 16K 43.00 / 32K 41.77 / 65K 40.77 / 131K 34.31 / 260K 30.21;同设定 llama.cpp 27.23 / 24.14 / 26.20 / 20.93 / 15.04 / 12.82。数字从官方配图读取。微软自家对比。tok_s 取 4K 的 44.6 | 官方 | 2026-11-05 | 链接 |
| Qwen3.8-Flash-Next | 未注明 | AMD Strix Halo 128GB 迷你主机 | 44 | 44–59 tok/s;~1,400 PP | 转述 | 链接 | |
| Qwen3.8-Flash-Next | sushi | MacBook M5 Pro 64GB | 44 | Sushi 1.6.0,MTP,上下文 128k。13.4 小时无人值守智能体跑(16 任务、2,292 请求)平均 decode 44,正文写明是 decode 而非端到端。提示缓存命中 95.9%。有跑分页,但主值是长程平均值,故为宣称。 | 宣称 | 2026-11-11 | 链接 |
| Qwen3.8-27B (AEON Ultimate) | vLLM | 1× DGX Spark(GB10,121 GiB 可用统一内存,DGX OS 7.6.0) | 43.7 | vLLM 0.29.0+aeon.sm121a.dspark(镜像 aeon-vllm-ultimate:2026-09-18-v0.29.0-omni),配置上下文 262,144,FP8 KV,DFlash2 最多 9 个推测 token。作者 7 月同一脚本 bench_aeon.py:11 个提示逐个运行,greedy,思考关。decode 中位 43.7(两次相同)作主值;最小 / 最大 23.7 / 79.4;TTFT 中位 272 ms。思考开的单请求 32.3。快速并发测试(思考开)1 / 4 / 16 用户 合计 34.5 / 74.9 / 163.5,不作单流主值。博文有完整配置,无原始数据,记为宣称。X 帖 https://x.com/mrru5s3ll/status/2121373870670368890 | 宣称 | 2026-11-14 | 链接 |
| Qwen3.8-27B | llama.cpp | 1× RTX 4090 24GB | 43.4 | 窗口外补录(测于 2026-10-22,由 @llmspeed 窗口内引用)。llm-speed 签名跑分 r_7cap38a021-,suite-v1,llama.cpp b11803。chat-short decode 43.38,主值记 43.4(预填 448.3,TTFT 344 ms,逐 token 延迟 p50 22.9 ms);chat-long 42.90 另标。模型标签 ctx4k,跑分记录未单独写配置的上下文上限,不填。限定:本条不用草稿模型;同机带草稿头的是 x-207(32K,75.3),组合不同。同帖 5090 75.2 = comm-350、3090 38.6 = comm-325,不重复收。llm-speed 页面只有汇总与签名,没有原始记录和完整服务设置,记为宣称。 | 宣称 | 2026-10-22 | 链接 |
| Qwen3.8-27B | Rapid-MLX | Mac Studio M3 Ultra 256GB | 43.4 | 43.4 tok/s 生成;330.8 tok/s 预填充(8K 提示);TTFT 中位数 24.66s | 官方 | 2026-09-02 | 链接 |
| Qwen3.8-Flash-Next | vLLM | AMD Strix Halo 128GB | 43 | 单流真实文本:5.6K prompt 预填 1,539 / decode 43;26.9K 1,617 / 43;100.5K 1,572 / 40。之前同配置预填 684–806,decode 约 18。对原版 KLD 0.008–0.019,GSM8K 93 对 92 | 宣称 | 2026-10-30 | 链接 |
| Qwen3.8-Flash-Next | llama.cpp (llama-halo-hybrid fork) | Minisforum MS-S1 Max(Ryzen AI Max+ 395,Radeon 8060S,128GB)+ Radeon AI PRO R9700 32GB(PCIe 4.0 x4) | 43 | llama-halo-hybrid 钉在 commit ed0d6cc9,ROCm 7.2.3。2026-11-06 作者自测,单会话 decode 43.0(三次 42.8/43.2/43.1)。2/4/6 会话 多路合计 56.7/78.3/68.4,均不作单流主值。MTP 单会话 60.5(约 80% 接受)因只能放下 2 路 128K 未作主值。-c 524288 -np 4,每路约 131K。有完整复现命令,无公开原始日志,降为宣称。 | 宣称 | 2026-11-06 | 链接 |
| Qwen3.5-27B | Ollama | 1× RTX 3090 24GB | 42 | Ollama 0.40.15,默认设置,单请求 42。4 请求同时:默认 合计 39.8;OLLAMA_NUM_PARALLEL=4 合计 33.1(每请求 32K 上下文,16% 模型移到 CPU),不作单流主值。同帖 llama.cpp 单请求也是 42、4 请求合计 100.2,但 llama.cpp 版本未写,不另列。单请求的上下文上限未写,不填。无原始日志,记为宣称。全文 https://homebrewserver.club/ollama-vs-llama-cpp.html | 宣称 | 2026-11-13 | 链接 |
| Qwen3.8-Flash-Next | gufo | Strix Halo laptop (gfx1151, 128GB; 96GB to GPU) + Windows 11 | 41 | gufo v0.31.0 + 5 个本地补丁(gist)。2×262144、q8_0 KV。长回复 decode 约 41(55–67K),230K 时 36–48;冷预填约 1240–1335;MTP 接受率 70–91%。无原始 results,约值,降为宣称。启动 .bat 在帖内。 | 宣称 | 2026-11-09 | 链接 |
| Qwen3.8-27B | 未注明 | Tesla V100 16GB + V100 32GB(48GB 混搭) | 40 | ≈40 tok/s | 转述 | 链接 | |
| Qwen3.8-27B-S-mirai | llama.cpp (mirai-s fork) | RTX 3090(显存限制 12GB,PCIe 3.0) | 39.7 | 39.7 tok/s 生成;1008 tok/s 读入 | 宣称 | 2026-09-26 | 链接 |
| Qwen3.8-Flash-Next | Strata | 1× Intel Arc Pro B65 32GB + Ryzen 9 5900XT + 72GB RAM(Linux 7.0 xe) | 39.25 | 与 comm-354 同机同引擎同回放,量化不同,单列。出厂驻留排名 IQ3_S 39.25 作主值。用 IQ2_XS 回放学得的排名 47.76(单次)另标。配置 --context 256k。无原始逐轮文件,降为宣称。 | 宣称 | 2026-11-12 | 链接 |
| Qwen3.8-27B | llama.cpp | 1× RTX 3090 24GB | 38.61 | 窗口外补录(测于 2026-10-22,由 @llmspeed 窗口内回帖引用)。llm-speed 签名跑分 r_mmtzel_i367,suite-v1,llama.cpp b11803。chat-short decode 38.61(预填 482.3,TTFT p50 25.8 ms);chat-long 38.19。上下文 4K。基线无同组合(llama.cpp × Q4_K_M × 3090 × Qwen3.8-27B)条目。llm-speed 页面只有汇总与签名,没有原始记录和完整服务设置,记为宣称。 | 宣称 | 2026-10-22 | 链接 |
| Qwen3.8-Flash-Next (turbo-brilliance-abliterated) | Strata | HP Z840 TrueNAS KVM 直通:1× RTX 3060 12GB(双 Xeon 56 线程,96GB 给虚拟机) | 38 | 与 comm-361 同帖同引擎,单卡稳态 decode 38。配置 262,144,MTP。客户端计时,无原始日志,降为宣称。 | 宣称 | 2026-11-12 | 链接 |
| Qwen3.8-Flash-Next | TensorFold | 2× DGX Spark(GB10,256GB 合计,TP2) | 37.5 | TensorFold 1.2.5 正式版,双 Spark TP2,作者写明此双机路径为 experimental。单流 decode 散文 37.5 作主值,代码 40.1 另标;均为 2 次中位,512 token,温度 0.7,思考关。8 路同时 合计 89.0,不作单流主值。预填 32K 1,475。配置窗口 262,144,16 GiB 提示缓存,8 个 slot。无公开原始日志,故为宣称。 | 宣称 | 2026-11-10 | 链接 |
| Qwen3.8-27B | SGLang | ASUS Ascent GX10(GB10,128GB) | 37 | SGLang 0.5.22,三处 Triton 补丁(Tencent/DSpine#4)。单请求、两轮启动中位:greedy DSpine 37.0 作主值;同条件 DFlash2 为 41.3/46.7 另标。非 greedy 采样会静默写错约 1% 的 token(“!” 为 tokenizer 的 token 0),greedy 输出无此现象,目前只有 greedy 可用。KV 池 678,798 不是单请求上限,上下文设置未写,不填。无原始日志,故为宣称。指南见 https://alzeo.ai/guides/tencent-dspine-on-dgx-spark/ | 宣称 | 2026-11-10 | 链接 |
| Qwen3.8-Flash-Next | Strata | 1× RTX 5060 Ti 16GB | 36.5 | Strata v0.2.11:Dynamic v3.1 相对旧 UD-IQ4_XS,对话 30.9→36.5(+18%),agent 40.8→43.7;预填几乎不变。注:与 Strata #5296(gfx1151 上同系新文件预填回退)并存——不同后端不可比。tok_s 取新文件对话 36.5。另一作者jkenner111,5060Ti/7900X/64GB、source0.1.58、UD-IQ4_XS V3.1 revd9620119,262144上限:标准短/4K/16K56.9/52.0/48.3;sanity12/12,约9.4GiB专家仍读NVMe(github.com/Niko1221/Strata/pull/5514)。不是原作者/default设置的同条件复测,不用56.9覆盖36.5。 | 宣称 | 2026-11-06 | 链接 |
| Qwen3.8-Flash-Next | llama.cpp | MacBook M5 Max 64GB | 36 | 36.0 tok/s 生成 | 宣称 | 2026-08-26 | 链接 |
| Qwen3.8-27B + Tencent DSpine-b16 | llama.cpp (Ajay9o9 dspine fork) | 1× RTX 3090 24GB | 35.6 | Ajay9o9/llama.cpp@dspine(未发版)。llama-benchy 小说文本:8K 深度 DSpine decode 35.6(对照 DFlash2 26.6 / 无投机 28.1);32K/64K 31.1/35.5。代码/数学约 125、混合聊天 90 为任务偏向,另标不作主值。KV q8_0 时约 64K;n-max 7 时约 98K。无原始日志、无完整命令,降为宣称。 | 宣称 | 2026-11-09 | 链接 |
| Qwen3.8-Flash-Next | 未注明 | Intel Arc B70 + 64GB RAM + NVMe | 35 | 解码 35 tok/s;预填充 800 / 1,200 tok/s | 宣称 | 2026-09-29 | 链接 |
| Qwen3.8-27B | MLX | 2× Mac Studio M5 Ultra 512GB(tensor) | 33.27 | 解码 33.27 tok/s(Table 3,~8K ctx,128 gen) | 官方 | 2026-10-15 | 链接 |
| Qwen3.8-Flash-Next | RustingStrata | RTX 3060 12GB + Ryzen 5 7600X + 32GB RAM | 33 | 纯 Rust 引擎(CUDA/Vulkan)。CUDA decode 约 36,预填约 370;原版 Strata 同卡 19–22 / 140–146。Vulkan decode 约 30。输出与原版对拍。2026-11-11同作者同机复测(IQ2_XS,greedy,128 生成,6 次中位):RustingStrata decode 33.0(29.3–35.8),低 8%,改主值;同文件 llama.cpp 25.6。WikiText-2 9,180 token:PPL 2.9212 / 2.9156,top-1 一致 96.78%,均 KLD 0.0098,与 llama.cpp 对齐。上下文仍未写。https://www.reddit.com/r/LocalLLaMA/comments/1xnu9iv/ | 宣称 | 2026-11-11 | 链接 |
| Qwen3.8-Flash-Next | Strata | 1× RX 7900 XTX 24GB + Core i7-14700KF + 160GiB RAM(Windows 11) | 33 | engine 0.1.59,ROCm 10.2 预构建 HIP。tools/strata_bench.py,速度套件无正确性检查。PR 摘要中位:短对话 decode 约 33 作主值;agent 跟进约 54 另标。上下文 131K。正文只给约值,未在摘要中写出精确中位,故为宣称。 | 宣称 | 2026-11-11 | 链接 |
| Qwen3.8-Flash-Next | llama.cpp | 2× RX 7900 XTX 24GB(各 PCIe 4.0 x8)+ Ryzen 7 5800X + 64GB DDR4(ROCm 7.2.4,Linux) | 33 | llama.cpp b11815 双卡,128k 上下文。同一作者同机同方法:112 / 3.5K / 32K 提示,512 生成,每档 3 次中位。主值取 112-token 提示。decode 中位 33 / 36 / 31,主值 33。作者称专家在 CPU 与 GPU 之间切分,262k 装不下。降为宣称。 | 宣称 | 2026-11-12 | 链接 |
| Qwen3.8-Flash-Next | JITEngine | MacBook Pro M4 Pro 48GB | 32.9 | 32.9(对照 slotstream 12.1) | 宣称 | 2026-11-05 | 链接 |
| Qwen3.6-35B-A3B | vLLM | AMD Strix Halo(Radeon 8060S,128GB 统一内存) | 32.6 | 原版 vLLM → 加 libstrix:decode 2K 17.8 → 32.6,64K 12.8 → 26.9;预填 2K 1,583 → 3,581,64K 260 → 2,617;256K prompt 预填 7,568 s → 241 s。27B bf16 decode 4.3 → 4.4(无改善) | 宣称 | 2026-10-29 | 链接 |
| Arete-27B (NousResearch, Qwen3.8-27B SFT) | llama.cpp | 1× RTX 3080 10GB | 32 | llama.cpp/llama-server版本未给。作者报告实际50000输入、51200上限、parallel1、q4_0 KV和Flash Attention下约32 decode;65层在GPU、约521MB输入embedding在RAM,GPU约9.9GiB。全GPU尝试进入shared memory后只22–24。CLI已公开,但未验证文字原始timing日志,保守标宣称。不同于x-287的3060/IQ2_XS。 | 宣称 | 2026-11-08 | 链接 |
| Qwen3.8-Flash-Next-Gyro | llama.cpp (agentionai fork) | AMD Strix Halo | 31.7 | 31.7 tok/s 生成 | 宣称 | 2026-09-30 | 链接 |
| Qwen3.8-Flash-Next | 未注明 | RTX 3090 24GB + 64GB DDR4 | 31.7 | 平均约 31.7(简单问题,推理 OFF / MAX);内存 56–57 / 64GB,显存 19.8 / 24GB;上下文 16K / 32K | 宣称 | 2026-10-25 | 链接 |
| Qwen3.8-Flash-Next | Strata | 2× Intel Arc Pro B60 24GB + Ryzen 5 7600X + 128GB RAM | 31.4 | Strata0.2.12,SYCL engine0.1.58源码加8个本地patch。双B60各PCIe4 x8,RAM实际3600MT/s;单请求、MTP spec2、fp16 KV、layer-split36,上下文上限262144。必须--pipeline-windows 0;默认2令20/22输出退化为叹号,sanity0/12,不收其速度。关闭后sanity12/12,短/4K/16K decode31.4/29.7/28.8,预填代价30–37%。 原始results.json/outputs.jsonl仅称可索取,未公开可读,按原始数据规则降为宣称。 | 宣称 | 2026-11-08 | 链接 |
| Qwen3.8-Flash-Next | Surogate | 1× DGX Spark | 31.4 | 1 用户 31.4(真实文本,MTP);聚合(另计)16 用户 115.7;vLLM 需 123.5 GiB,Spark 只有 121.7 GiB,放不下。另一帖:Qwen3.8-27B NVFP4 在 RTX 5090 上 1 用户 decode 70.1(vLLM 71.6) | 宣称 | 2026-10-31 | 链接 |
| Qwen3.8-Flash-Next | Strata | 1× RTX 3060 12GB + Xeon E5-2690 v4(14 核)+ 32GB DDR4-2133 ECC(ASUS Z10PA-U8,Ubuntu 24.04) | 31.4 | Strata v0.2.10,engine 0.1.56,CUDA 12 构建;INT8 KV,上下文 32,768,MTP(--spec 4),预填块 4,096,常驻内存预算 25 GiB。warm quickbench 阶梯 decode:2K 31.4(取作主值)/ 8K 45.7 / 16K 46.7;普通 prose 生成 39.4–46.4 另标。16K 新提示预填 448.1。作者称用 gpu-unlock 把功耗上限从 170W 提到 187W,decode 基本不变。测于 2026-11-02 至 11-03,帖子在窗口内发布;作者称日志在 GitHub 仓库,未逐次核对。同时处理的请求数未写。记为宣称。 | 宣称 | 2026-11-03 | 链接 |
| Qwen3.8-Flash-Next(Gyro-M) | Strata | RTX 4070 Super 12GB + 32GB RAM | 30 | 解码 30–38 tok/s、prefill 950–1,800 tok/s(随上下文) | 官方 | 2026-10-14 | 链接 |
| Qwen3.8-Flash-Next | llama.cpp | RTX 3090 + 64GB RAM | 28 | 28 tok/s(持续 1.59M token)/ 38.6 tok/s | 转述 | 链接 | |
| Qwen3.8-Flash-Next(180B/6B 激活) | Rapid-MLX | Mac Studio M3 Ultra 256GB | 23 | 23.0 tok/s 生成;867.9 tok/s 预填充(8K 提示);TTFT 中位数 9.40s | 官方 | 2026-09-02 | 链接 |
| Qwen3.8-Flash-Next | Betelgeuse | RTX 3060 12GB + 16GB DDR4 单通道 + NVMe(约 2.1GB/s) | 22 | 持续 22(峰值 48);同机 llama.cpp mmap 1.47,Strata --low-ram mmap 8.11;每 token 实际读盘 12.43MB | 宣称 | 2026-10-31 | 链接 |
| Arete-27B (NousResearch, Qwen3.8-27B SFT) | llama.cpp | 1× RTX 3060 12GB | 22 | llama-server(版本未写):约 22 tok/s;预填约 490。配置 -c 158000、-np 1,帖内未给实际填入长度,不把 158K 配置写成已填满。新模型发布窗口。tok_s 取约 22 | 宣称 | 2026-11-07 | 链接 |
| Qwen3.8-Flash-Next | moe-cache | Ryzen 9 7950X + RX 9070 XT 16GB + 32GB RAM(Windows) | 19.9 | 冷启动 A/B,llama.cpp 设置相同:原版 15.1,moe-cache 19.9。Windows 支持为实验性 | 宣称 | 2026-10-31 | 链接 |
| Qwen3.8-Flash-Next | llama.cpp | 1× Intel Arc Pro B70 32GB + Threadripper 1950X + 128GB DDR4 (X399 PCIe3; 27/48 expert layers in system RAM) | 19.8 | 与 comm-303 同源作者评论表:llama.cpp v0.9.0 SYCL,-c 131072,-ub 4096,无 MTP。16K decode 19.8 / 预填 539.8;64K 18.7 / 506.3。77.9GiB IQ3_S,约 27/48 层专家在系统内存。无原始文件,降为宣称;不作 A8 的独立交叉验证。 | 宣称 | 2026-11-09 | 链接 |
| Qwen3.8-27B | MLX | Mac Studio M5 Ultra 512GB | 19.69 | 解码 19.69 tok/s(Table 3,~8K ctx,128 gen) | 官方 | 2026-10-15 | 链接 |
| Qwen3.8-Flash-Next | 未注明 | RTX 4070 12GB | 19.4 | 19.4;作者说幻觉偏多,同卡 Bonsai-2-27B 平均 43 | 宣称 | 2026-10-25 | 链接 |
| Qwen3.8-27B-NVFP4-MTP | llama.cpp | RTX 5070 Ti 16GB + RTX 5060 Ti 16GB(双卡 tensor split) | 18.44 | 18.44 tok/s 生成;645.6 tok/s 读入;MID-HIGH(Q8_0)+ MTP 在 32K 时 25.98 tok/s 生成,1451.6 tok/s 读入 | 宣称 | 2026-08-14 | 链接 |
| Qwen3.8-27B | oMLX | MacBook / Mac Studio M5 Max 128GB | 18 | oMLX 0.7.0:约 18 tok/s。每模型 3 次,约 1.2K/4.5K in、256 out,暖机、无 prompt-cache 命中;测试时暂停 Windows VM。tok_s 取约 18 | 宣称 | 2026-11-06 | 链接 |
| Qwen3.5-27B-Claude-4.6-Opus-Distilled | MLX | Mac M4 Pro 64GB | 15.7 | 15.7 tok/s 生成;86.5 tok/s 读入 | 宣称 | 2026-03-04 | 链接 |
| Qwen3.5-397B | Ollama | 2× DGX Spark(200 Gb/s 直连,RPC 层拆分) | 15.3 | 2 节点 15.3 tok/s(单节点放不下),加载 188 s | 官方 | 2026-10-15 | 链接 |
| Qwen3.8-27B 4-bit | oMLX | Mac M5 Pro 48GB(机型未注明) | 14.2 | 14.2 tok/s | 转述 | 链接 | |
| Qwen3.8-Flash-Next | Strata | 1× Intel Arc A750 8GB | 12.7 | 128K 上下文,真 8GB 卡:4 种启动(DFlash2、2 个并发请求等)都能启动,12.7–14.8;Auto 只开 DFlash2 时 13.9–18.4;这张卡上 DFlash2 比 MTP 慢 2.6%。发布说明的 "8GB 卡 63–73" 是大卡手动限显存模拟,不是真 8GB 卡;真 RTX 5070 限到约 8GB 时比满卡慢 17–27%。反例:RTX 4060 Ti 8GB + 32GB RAM 专家落回文件读取,约 1(x.com/phdowl1991/status/2117497960267436380)。tok_s 取真卡下限 | 官方 | 2026-11-03 | 链接 |
| Qwen3.8-27B | MLX | Mac Studio M3 Ultra 512GB | 12.46 | 解码 12.46 tok/s(Table 3,~8K ctx,128 gen) | 官方 | 2026-10-15 | 链接 |
| Qwen3.8-Flash-Next | Janas-LLM | 笔记本:Intel Core Ultra 9 185H + 32GB DDR5 + 核显 Arc + NPU + NVMe Gen4(Debian 13) | 12.3 | decode(CPU)12.3–12.5,llama.cpp CPU 为 3.12;预填 1,024 token 33.0,llama.cpp 4.82。Qwen3-Next-80B-A3B(48.4GB):decode 26.4 对 3.0;Qwen3.6-35B-A3B:28.0 对 12.1 | 宣称 | 2026-10-29 | 链接 |
| Qwen3.8-Flash-Next | Strata | Intel Arc B390 核显(Core Ultra X7 358H,31.5GB 共享内存) | 10.5 | 32 个 greedy token 10.5,14 个草稿全部接受,首 token 15.7 s;专家驻留较少时只有 1–2 | 宣称 | 2026-10-30 | 链接 |
| Qwen3.8-Flash-Next | MoEShift | Mac mini M4 Pro 24GB | 10.44 | 短 prompt(66 token 入,256 出):MoEShift 10.44 对 Strata 8.4;6K prompt:decode 9.9 对 7.8,预填 160.8 对 61.8;峰值内存 6.4–7.5GB 对 14GB;8K ctx,无缓存。2026-11-09引擎作者社区 runner:同机 M4 Pro 24GB 短 decode 中位 9.84(对照本行 10.44),长 decode 9.57,预填 199。同帖 M5 Pro 24GB 14.69 为新主机,缺版本字段另挂 B。不改主值。 | 宣称 | 2026-10-29 | 链接 |
| Qwen3.8-Flash-Next | llama.cpp | RedMagic 10S Pro(骁龙 8 Elite,24GB RAM,纯 CPU) | 4.4 | 解码 4.4 tok/s,prefill ~2.9 tok/s | 官方 | 2026-10-15 | 链接 |
| Qwen3.6-35B-A3B | BigMoeOnEdge | ThinkPad(2020)Ryzen 7 PRO 5850U + 16GB RAM,无独显,纯 CPU(Windows) | 2.3 | BigMoeOnEdge v0.42(基于 llama.cpp,非 fork)。无独显笔记本,Q4_K_M 21GB 大于内存,SSD 流式。agent 生成 11.8K token 平均 decode 2.3。上下文未写,不填。同帖 Mac 16GB 20 tok/s 未写机型,不采。无原始日志,降为宣称。 | 宣称 | 2026-11-12 | 链接 |
| Qwen3.8-27B | TensorFold | 1× DGX Spark(GB10) | 新默认 prompt/decode 配方,冷启动读入(1.1.3→1.1.4):2K 834→1,281(+54%)/ 8K 612→1,266(+107%)/ 32K 326→1,165(+258%)/ 64K 203→1,045(+416%);输出 1–8 流约 +2%,发布说明没给绝对输出速度,tok_s 留空;质量与旧配方相同(40 例精确 27 例) | 官方 | 2026-10-24 | 链接 | |
| Qwen3.8-Flash-Next | TensorFold | 1× DGX Spark(GB10) | 只测预填,相对 1.1.4:2k 1,306→1,583(+21%),16k 1,359→1,723(+27%),32k 1,323→1,687(+28%),64k 1,174→1,373(+17%);1/2/4/8 流服务吞吐 +2/10/20/28%;tok_s 不填 | 官方 | 2026-10-26 | 链接 | |
| Qwen3.8-Flash-Next | Radiance (fork) | 4× AMD R9700 32GB + TR 9970X + 128GB | 48K/用户:538.5 tok/s 合计解码;128K/用户:365 | 转述 | 链接 | ||
| Qwen3.8-Flash-Next | oMLX | Mac Studio M3 Ultra 256GB | 102 单流;8 流 134(stock oMLX 25) | 转述 | 链接 | ||
| Qwen3.8-Flash-Next | oMLX | Mac Studio M5 Ultra 80C 256GB | oMLX 157.7(195K 时 96.6);TensorFold 200.7 解码但仅 471 PP(oMLX 3,300–3,600) | 转述 | 链接 | ||
| Qwen3.8-27B | TensorFold | RTX 5090 vs 1× DGX Spark | 无草稿 75 vs 14.4;投机 215 vs 44 tok/s | 转述 | 链接 | ||
| Qwen3.8-27B | 未注明 | AMD R9700 32GB / Strix Halo | 159 tok/s / 64 tok/s | 转述 | 链接 | ||
| Qwen3.8-27B | Radiance (fork) | 4× R9700(同上 $18k 整机) | 合计解码 900→80 tok/s(4K→128K/会话);PP 6.3–6.8K | 转述 | 链接 | ||
| Qwen3.8-27B | TensorFold | Mac Studio M3 Ultra | 采样请求的代码回答 125;散文 51(1.0.5 均约 20,输出 token 相同) | 官方 | 2026-10-11 | 链接 | |
| Qwen3.6-35B-A3B | Ollama | RTX 3090 | 139.6 @32K;112.4 @64K(溢出 0.71GiB 到 CPU) | 转述 | 链接 | ||
| Qwen3.8-Flash-Next | oMLX | M3 Ultra / M5 Max | M3U 32K prefill 396 → 636 tok/s;M5 Max 8 请求首 token 7.41 → 5.75 s;oMLX 0.7.4.dev1 Prefill Accelerator(M3 Ultra 512GB + M5 Max 128GB,64K prompt):预填 1,309 → 3,666;decode 不变(x.com/jundotkim/status/2117923876642656592) | 官方 | 链接 | ||
| Qwen3.8-27B | MLX | Mac Studio M5 Max 64GB | 平均 75.6 vs 33.9 tok/s(MTP 支持不同) | 转述 | 链接 | ||
| Qwen3.8-27B | MTPLX | Mac Studio M5 Max | 58.7 持续 / 73 峰值 | 转述 | 链接 | ||
| Qwen3.8-27B | DFlash | Mac M5 Max | 代码 151 vs 32–33 tok/s | 转述 | 链接 | ||
| Qwen3.8-27B / Flash-Next / 35B-A3B | MLX | Mac Studio M4 Max 128GB | 27B 70;Flash-Next 83;35B-A3B 239 tok/s;27B 4 路合计 119(旧版 72) | 转述 | 链接 |
数字来自各条来源。本项目未复测。各行的模型与设置不同。来源等级:官方 = 项目方或厂商;实测 = 发帖人亲测(引擎或配方作者须公开原始数据和复现步骤);转述 = 二手;宣称 = 预测或无复现细节。