NVIDIA DGX Spark 相关配置:本地推理速度(tok/s),均有出处
截至 2026-11-14,本数据集中 NVIDIA DGX Spark 有 157 条配方,其中发帖人实测 109 条。单机单流文字最快实测:130.1 tok/s,模型 Qwen3.8-Flash-Next,引擎 TensorFold(1× DGX Spark;实测;2026-10-28;来源)。其中 132 条有日期,从 2026-07-29 到 2026-11-14。
| 模型 | 引擎 | 硬件 | tok/s | 指标 | 来源等级 | 日期 | 来源 |
|---|---|---|---|---|---|---|---|
| Qwen3.8-27B | TensorFold | 2× DGX Spark(双机张量并行) | 190 | decode 代码约 190–200,散文约 70;2K 预填约 3,250(之前约 1,100);对 BF16 的 KL 约 0.03–0.04。tok_s 取代码下限 | 实测 | 2026-11-02 | 链接 |
| DeepSeek-V4.1-Flash-1017 | spark-ds41f | 4× DGX Spark(GB10) | 136 | 代码 decode 136;256K 级提示预填 6,221;1M 提示预填 4,892;作者说同条件下 decode 比 TensorFold 快约 8–13%,预填快约 2.6–2.7 倍;_m_naoki_m_ 2026-11-03 用同一 spark-ds41f 配方(vLLM + TileLang,TP4,200GbE RoCE 交换网):32K 预填约 7,127,聚合(另计)C16 约 235.5(x.com/_m_naoki_m_/status/2117429844824977818);另一位测试者(masa_ai_labo)用 spark-ds41f-1030:4× Spark TP4,256K 散文,10 次平均 decode 74.73,冷预填 6,441(x.com/masa_ai_labo/status/2117875287384097030);2026-11-07 引擎作者 christopherowen 用 spark-ds41f-1030(4× Spark,无交换机):单流 78.6(95% CI 75.3–80.2);聚合(另计)C8 总计 198.7、C16 总计 258.1(x.com/christopherowen/status/2119038167047094467)。不覆盖本条代码 decode 136,也不覆盖 comm-084 的 91.3 或 x-190 的 92。spark-ds41f-1107作者同4Spark原生1017权重、1M上限:单流82.5,C16合计273.2;131K预填8661、1M6015(x.com/christopherowen/status/2119210831812370771)。另kevintheo四Spark coding corpus的C16为361(x.com/kevintheo/status/2119363056333476146),任务不同不能互比;不拿聚合覆盖本行136,也不改comm-084或x-190。2026-11-10 kevintheo 用 christopherowen spark-ds41f-1107,4 台无交换机环形:1 个代码提示约 130,16 个不同代码提示 多路合计 361;130 与本行代码 136 在 ±5% 内,只追加。JimHallers 同日 1107(自 main@51be7406 构建):32K 预填 2,700→8,141,16 流 多路合计 141→257,作者称 decode 与旧栈持平。不改 136。 | 实测 | 2026-11-01 | 链接 |
| Qwen3.8-Flash-Next | TensorFold | 1× DGX Spark | 130.1 | Mia recipe 新版(NVIDIA FP4 QAD 默认):代码单流峰值 130.8(3 次平均 130.1),思考关;关 MTP 草稿约 25.5;聚合(另计)2 路 186.6 / 4 路 288.1 | 实测 | 2026-10-28 | 链接 |
| DeepSeek-V4.1-Flash-1017 | TensorFold | 3× DGX Spark(TP3) | 126.1 | LakyFx 配方 1.2.5(K2a,TensorFold TP3;1.2.5 是配方版本,不是 TensorFold 版本),SparkDash:C1 代码 126.1 / 散文 87.7,tok_s 取代码;聚合(另计)C12 代码 246.2;2026-10-31 配方更新:TP3 预填约 2,200 → 约 3,500,并加入 TP4 配方(x.com/laky_fx/status/2116433866340569124) | 实测 | 2026-10-23 | 链接 |
| DeepSeek-V4.1-Flash | TensorFold | 4× DGX Spark(GB10,无交换机环) | 111 | code 单流 3 次中位:stock SGLang 71.6,Mia SGLang 分支 103,TensorFold 111;聚合(另计)4 流 71.5/116/140。作者 handle 更正为 kevintheo(X 用户 ID 952585832115920897;原记 kevintheoo 为拼写错误,该 handle 不存在)。 | 实测 | 2026-10-26 | 链接 |
| DeepSeek-V4.1-Flash-1017 | vLLM | 2× DGX Spark(GPU 锁 2300 MHz)+ 1 台 EPYC 主机带 2× RTX 3090(NVLink),共 3 台 | 110 | sparkDash 协议,3 次中位数,单流:JSON 138,代码 110,散文(温度 0,思考关)66,散文(思考开)56;聚合(另计)4 流:322 / 192 / 130 / 105。预填 4K 2,827,128K 2,650,256K 2,618。128K prompt 后 decode 62 | 实测 | 2026-10-31 | 链接 |
| Ornith-1.0-35B | vLLM | 1× DGX Spark | 109 | 热机单流 greedy:代码约 109,数学约 116,散文约 59 | 实测 | 2026-11-01 | 链接 |
| DeepSeek-V4.1-Flash-1017 | TensorFold | 4× DGX Spark(GB10,RoCE) | 97.2 | 提示集 v1 之外的新 lane(配方 v0.3.5,引擎 0a0b69a + 2 个补丁,RoCE 双链路):1 用户 97.2(代码单流 143.7);聚合(另计)6 用户 195.5 / 16 用户 230.7;93K 提示约 37 秒读入;KV 池 29,360,128(原 2,097,152);600K 针测通过。上一版 lane(LibertAI EXL3 3.5bpw):C1 89.8 / 93.6(开第二条 RoCE),C6 合计 202.9 / 213.8,冷预填 93K 1,929 / 2,215 | 实测 | 2026-10-27 | 链接 |
| GLM-5.3-Flash EXL3 | TensorFold | 4× DGX Spark(有/无交换机均可,TP4 分支) | 95 | 1 流 95 tok/s(prose);4 流 163 | 实测 | 2026-10-10 | 链接 |
| Qwen3.6-35B-A3B | vLLM | 1× DGX Spark | 95 | 单会话 95 tok/s;8 会话 317 tok/s | 实测 | 2026-07-29 | 链接 |
| DeepSeek-V4.1-Flash | TensorFold | 2× DGX Spark | 95 | TensorFold:1 流 95、3 流 147、预填充 1,400;vLLM 对照:51 / 86 / 870 | 实测 | 2026-10-03 | 链接 |
| DeepSeek-V4.1-Flash-1017 | TensorFold | 4× DGX Spark(GB10)+ MikroTik CRS804-4DDQ 交换机(1 台) | 95 | 32k 深度单流:code 约 95–115(tok_s 取下限 95),prose 约 67;预填约 3k(32k 提示 11s);1M 上下文 | 实测 | 2026-10-26 | 链接 |
| GLM-5.3-Flash | TensorFold | 4× DGX Spark(GB10,无交换机环网 TP4,GPU 时钟上限 2,200 MHz) | 93.3 | Vince v2.4 叠加层(TensorFold v0.6.0 Python 引擎,改 30 个文件;不用 Mia 默认 Zig 引擎)。与 x-018(Mia 原版 4×Spark EXL3,散文 95)引擎不同,不合并。sparkDash 2.70.0、2026-11-11、温度 0.7、思考开、单次:单流散文 decode 93.3 作主值;代码 138.1 另标。2 路散文 合计 132.6 / 8 路 合计 223.8,不作单流主值。服务窗口 1,048,576。同 README 更早 v2.1 口径:sparkDash 温度 0 思考关散文 90.4,自有协议 72.9,另标。配方作者表附原始 json 与复现步骤,按规则记实测(单次跑)。增益主要在预填,不在 decode。 | 实测 | 2026-11-11 | 链接 |
| DeepSeek-V4.1-Flash-1017 | vLLM | 3× DGX Spark + 1× Acer GN100(4 台环形连接) | 92 | 1 个对话 92–104;同机作者自己的 EXL3 4.0bpw(275GB)为 83–88;128K prompt 首 token 18.8 s 对 64.4 s;300K 48.0 s 对 158.3 s;聚合(另计)16 个对话 348 对 202.1 | 实测 | 2026-10-30 | 链接 |
| DeepSeek-V4.1-Flash-1017 | TensorFold | 2× DGX Spark(QSFP 直连) | 88.7 | 单用户 5 次中位数,温度 0.7:json 102.8 / 代码 88.7 / 解释 72.8 / 故事 57.3,tok_s 取代码;8K 提示读入 3.0 s | 实测 | 2026-10-24 | 链接 |
| GLM-5.3-Flash | 未注明 | 3× DGX Spark + 1× Acer GN100(200G 环形直连,无交换机) | 88.1 | 单聊 88.1;聚合(另计)8 路 177.2;262K prompt 99 s 完成 | 实测 | 2026-10-29 | 链接 |
| Ornith-1.5-122B | TandemLLM | 1× DGX Spark | 85.3 | 不开草稿约 38;MTP + 查表草稿:散文 85.3 / 代码 114.2 / 复制 124.8;草稿输出与贪心解码逐 token 相同 | 实测 | 2026-10-21 | 链接 |
| DeepSeek-V4.1-Flash-1017 | NVIDIA Flare | 4× DGX Spark(QSFP 环形直连,无交换机) | 85 | 单流:计数类 92–98 / 代码 85–89;Max effort 生成 114K token 时 62.5;作者称 1–3 流比其 vLLM 配方快 | 实测 | 2026-10-23 | 链接 |
| GLM-5.3-Flash(320B/18B 激活) | TensorFold | 2× DGX Spark | 83 | 单用户 EXL3 对 NVIDIA FP4-Local(TensorFold 1.1.9):JSON 82 / 52,代码 83 / 47,改写 73 / 52,解释 58 / 42,故事 46 / 36;128K 上下文 47;聚合(另计)4 用户 82 / 56。思考关 GPQA Diamond 69% / 71%,IFEval 81% / 64% | 实测 | 2026-11-02 | 链接 |
| DeepSeek-V4.1-Flash-1017 | pico-dgx-ds4 | 4× DGX Spark(GB10)TP4,200G RoCE 交换机 | 82 | pico-dgx-ds4 @7a3b982(blaesus/dsgx10 分支,DSGB10)。配方作者 README 头表,温度 0、9 次中位:单用户 chat decode 82,代码 144 另标。sparkDash 1.8.8 口径散文 101 / 代码 166。8 用户不同提示 多路合计 300,16 用户不同提示 多路合计 380,16 份相同提示 多路合计 438,均不作单流主值。头表为 exact/lossless 构建;有损 relaxed-accept 实验已移除。加图像后 chat/code 81.9/144.4。--max-ctx 1048576。头表未逐行写明官方 checkpoint 与 UNCENSORED-FP8 变体。2026-11-11 同配方 live 构建(stack4 + stack5):同一 3 提示 chat 台 27 次中位 84.6、代码 144.0,较原主值 82 高 3.2%,在 ±5% 内,只追加、不改主值,也不另建条。90.3 是另一组 320 条留存提示的均值(exact 86.2 → stack4 89.5 → stack5 90.3),口径不同。16 用户不同提示 合计 368–376,不作单流主值。日期与来源链接不改。https://github.com/Picom-code/pico-dgx-ds4 | 实测 | 2026-11-09 | 链接 |
| DeepSeek-V4-Flash (0731 GA) | 未注明 | 2× DGX Spark | 82 | 单流 82 tok/s(峰值约 95);3 会话 135 tok/s | 实测 | 2026-07-31 | 链接 |
| Ling-3.0-flash | SGLang | 2× DGX Spark | 82 | JSON 82,代码 77;8 个 pelican SVG 中 0 个损坏 | 实测 | 2026-10-30 | 链接 |
| DeepSeek-V4.1-Flash-1017 | TensorFold | 2× DGX Spark(GB10,CX7) | 80.7 | sparkDash(CONTEXT=524288,草稿开):单流散文 74.9 / 代码 109.9;4 流合计散文 130.0 / 代码 155.5;冷 prefill 8K–256K 约 2,000–2,183;权重卡注明 experimental、无相对未量化 PPL/KL;同机型 Elevatormusic(comm-038)散文 56.8;yume_arasaki 10-23 更正其复测:散文 70+(不是 58),代码约 107;wei_wang 2026-11-01 按 Mia 双 Spark 配方(EXL3 2.9 bpw,TP=2)复现,单路代码 118(x.com/wei_wang/status/2116925488698449964)。2026-11-09 Mia README 当前 sparkDash 表(CONTEXT=524288,草稿开,温度 0,思考关):单流散文 80.7,改主值;代码 118.1 另标。2 路散文 合计 110.6 / 4 路 合计 154.0,不作单流主值。配方作者第一手表。https://github.com/MiaAI-Lab/DeepSeek-v4.1-Flash-1017-2x-DGX-Sparks | 实测 | 2026-11-09 | 链接 |
| Nemotron 3.5 Bolt 74B-A9B | llama.cpp | 1× DGX Spark | 80.4 | greedy 解码均值 80.4 tok/s(数学 108.2 / 代码 81.2 / 摘要 69.6 / 散文 62.6;4 任务);采样 74.1;262K 上下文;131K 提示仍约 70 tok/s;无投机 38.3 | 实测 | 2026-10-17 | 链接 |
| DeepSeek-V4.1-Flash-1017 | TensorFold | 4× DGX Spark(GB10,RoCE) | 79.1 | recipe v0.2.0 set b 中位:单流代码 135.9 / 散文 79.1 / 结构化 186.6;4 流合计 141.7,4 流持续 90s 合计 183.1;冷 prefill 8K 2,793、128K 2,679;4.02bpw 比 v0.1.1 的 2.9bpw(pre-1017 Mia 权重)慢约 15–17%;KL 未测;X 帖写代码 136 / 4 流 183;10-23 复核:README v0.3.3 单流代码 135.6 / 散文 78.6,16 流持续合计 255.6;Gael_DDOS 复测散文 78.6 | 实测 | 2026-10-19 | 链接 |
| DeepSeek-V4.1-Flash-1017 | spark-ds41f | 4× DGX Spark 级 GB10(2 台 ASUS Ascent GX10、Gigabyte AI TOP ATOM、Lenovo ThinkStation PGX),TP4,CX7 线缆环(无交换机) | 76.3 | Owen 的 spark-ds41f 标准发布 1107(release commit cc20ed18),vLLM 分支 tree ed1bdb7a + TileLang,TP4 线缆环,DSpark 5 草稿,上下文 1,048,576,16 槽。偏离配方:4 KiB 页内核、无内存节省器、GPU 时钟上限 2,200 MHz、镜像自建。思考关,温度 1.0,512 token,decode 各 2 次取中位。decode prose 76.3 作主值;code 76.4。上下文阶梯 decode(prose)16K / 32K / 64K / 128K:76.7 / 81.0 / 76.7 / 74.1。预填 32K 8,355,128K 7,964。8 请求 合计 201.4,不作单流主值。同晚复测 decode 81.5。同测 candidate-54:prose 79.9 / code 89.1,作者称差异在跑间波动内。结果页附 speed2.json、日志与命令 https://niklaslenz.com/v2/deepseek-v41-flash-4sparks-owen-ds41f-1107-tp4-ring/ ,记为实测。同作者 TensorFold 4× Spark 见 x-199。 | 实测 | 2026-11-13 | 链接 |
| DeepSeek-V4.1-Flash-1017 | TensorFold | 3× DGX Spark(TP3) | 74.7 | TensorFold TP3:聚合 4 会话 108.6(SGLang TP3 68.3),4 流最高 242.9;未给单流数;2026-11-01 测试者补充单流 74.7(德语,思考开;x.com/HandwerkAiLab/status/2116961530550095915) | 实测 | 2026-10-24 | 链接 |
| DeepSeek-V4.1-Flash-1017 | TensorFold | 3× DGX Spark(GB10,3 根 CX7 直连,无交换机;锁频 2000 MHz) | 73.8 | 单流 set b:代码 122.6 / 散文 73.8 / 结构化 147.6;set a:111.9 / 67.5 / 129.6;2/4/8 流合计 93–102 / 121–136 / 165–181;prefill 8K/32K/128K 2,222/2,257/2,074;同作者 2.9bpw 帖文:TP3 对 TP2 代码 117 对 88、散文 82 对 61 | 实测 | 2026-10-23 | 链接 |
| Nemotron 3.5 Bolt 74B-A9B | TensorFold | 1× DGX Spark 128GB | 72.5 | Mia 配方:decode 散文 72.5 / 代码 63.4;500 词约 10.2 秒;128K 首 token 67.8 秒。2 次中位数,512 token,思考关 | 实测 | 2026-11-03 | 链接 |
| Qwen3.8-Flash-Next | ExLlama | 1× DGX Spark | 71.7 | 代码 102.6;散文 71.7;JSON 66.2 tok/s | 实测 | 链接 | |
| Nemotron-3-Nano-30B-A3B | Ollama | 1× DGX Spark | 71 | 71 tok/s(30B 级对比中最快;QwQ 在 Ollama 上 10 tok/s) | 实测 | 2026-10-14 | 链接 |
| DeepSeek-V4.1-Flash-1017 | TensorFold | 4× DGX Spark(TP4) | 71 | Mia 11-01 版本(commit fcef6cf,KV 池 2,097,152,16 请求槽):代码 71.0,散文 68.4,HTML 回答 99.8;8K 首 token 2.2 秒;聚合(另计)1 / 8 个同时请求 62.1 / 144.6。同机 vLLM(ondigo-winder 配方):代码 33.6,散文 30.2,8 个同时 114.8。旧值:10-30 代码 69.5 | 实测 | 2026-11-02 | 链接 |
| DeepSeek-V4.1-Flash-1017 | TensorFold | 2× DGX Spark(其中一台 ASUS GX10;QSFP 直连,TP2) | 70.5 | bertholomus 配方 v0.7.2 @30a5bf9:decode code 70.5 / prose 70.6;32K 预填 1,830,TTFT 17.9s;聚合(另计)4 请求 107.4、8 请求 106.3(配方只有 4 个 slot);对照 4× Spark 4.0bpw:82.8 / 80.8 | 实测 | 2026-10-25 | 链接 |
| DeepSeek-V4.1-Flash-1017 | TensorFold | 3× DGX Spark(GB10 128GB)TP3 | 66 | TensorFold TP3 集成配方(README 基准表 @461d8cd;其后 02b133f 为调度修复,基准早于此)。配方作者表:单请求散文 decode 66,代码 101、结构化 147 另标。短合成提示,thinking off,384 token 上限。C4/C8/C12 多路合计 154/201/222,均不作单流主值;C12 单请求中位 23.4。6.4M 为共享 KV 池,不是单请求上限,上下文设置未写死,不填。最大输出 65,536。 | 实测 | 2026-11-10 | 链接 |
| DeepSeek-V4.1-Flash-1017 | vLLM | 2× DGX Spark(TP2) | 64.9 | sudoingX vLLM 配方 v2.0 @f8f20b3,思考关单独测速:代码 64.9 / 散文 62.2;聚合(另计)8 请求 66.3 | 实测 | 2026-10-23 | 链接 |
| KAT-Coder V2.5 35B | vLLM | 1× DGX Spark | 64.6 | decode 代码 / 散文 64.6;C1 62.4;聚合(另计)C2 105.5 / C4 131.6 / C8 130.1;4 slots | 实测 | 2026-10-28 | 链接 |
| Qwen3.8-Flash-Next | TensorFold | 1× DGX Spark | 64.4 | 1 流 64.4 tok/s(prose);8 流 200.9;32k 预填充 2,630 tok/s;@yume_arasaki 汇总帖(Mia 数据 + 复现):单流散文 63.6,4 流合计 114.5(x.com/yume_arasaki/status/2106837882870886438) | 实测 | 2026-10-08 | 链接 |
| Qwen3.8-27B | 未注明 | 1× DGX Spark (GB10) | 64 | 复现 MiaAI_lab recipe:1/2/4/8 流 64.0/104.3/155.1/238.6(Mia:58.3/108.5/135.1/220.6);@yume_arasaki 汇总帖另记 Mia 代码 136.9(x.com/yume_arasaki/status/2106837882870886438) | 实测 | 2026-10-01 | 链接 |
| DeepSeek-V4-Flash | vLLM | 2× DGX Spark(QSFP 直连) | 63.7 | 单流 63.7 tok/s(带宽上限推算 74.7,达 85%);同机 V4.1-Flash 因内存失败 | 实测 | 2026-09-28 | 链接 |
| DeepSeek-V4.1-Flash | SGLang | 4× DGX Spark(100 GbE 交换机) | 62.5 | 单流散文 ~62.5 tok/s(tuned;base ~32.6;对照 Moorhead ~58;16 slots 散文 ~228 / 代码 ~293,未达媒体 494) | 实测 | 2026-10-16 | 链接 |
| DeepSeek-V4.1-Flash-1017 | SGLang | 4× DGX Spark(GB10,200G RoCE) | 62 | 单路解码:代码 106 / 文章 62 tok/s;8 并发合计 190–290;prefill 约 5,300–5,500(8K–128K),240K 约 4,850;TTFT 短提示约 0.22 s、128K 约 24 s | 实测 | 2026-10-18 | 链接 |
| GLM-5.3-Flash EXL3 | 未注明 | 2× DGX Spark (GB10) | 61.43 | 复现 MiaAI_lab recipe:1 流 61.43(Mia 60.4);4 流 107.8(Mia 108.8) | 实测 | 2026-10-03 | 链接 |
| DeepSeek-V4.1-Flash-1017 | vLLM | 2× DGX Spark | 59.2 | v1.2 set b:散文 59.2 / 代码 100.7 / 结构化 141.3(同会话 launch 构建 58.0 / 103.0 / 142.6);KLD vs native 1017 0.0243、top-1 95.47%(同面板 LibertAIDAI 2.9 为 KLD 0.0304);v1.2 prefill 未重测;v1.1 的 8K/32K 2,090/2,092 见 x-059 | 实测 | 2026-10-20 | 链接 |
| DeepSeek-V4.1-Flash-1017 | TensorFold | 2× DGX Spark(GB10,双 fabric 链路) | 59.1 | 调优版,思考关、temp 0、400 token 输出上限,两次独立运行中位:C1(单路)散文 59.1 / 代码 103.4 / 结构化计数 91.0;合计 C2/C4/C8:代码 149.7 / 193.3 / 267.0,散文 85.0 / 110.1 / 139.1;冷 prefill 72K 929;早期对照(64 token 输出)C1 解码 TensorFold 58.1 vs vLLM 36.9 | 实测 | 2026-10-18 | 链接 |
| MiniMax-M3.1-Flash | SGLang | 4× DGX Spark(TP4,无交换机 RoCE 环) | 59 | SGLang TP4 / nnodes=4,NCCL 2.30.7 Ring,fp8 KV:单流 decode 59.0(TTFT 0.183s);预填 32K 1,121 / 266K 1,248;聚合(另计)6 并发 122.9。配方来自 knapcio SGLang profile | 实测 | 2026-10-25 | 链接 |
| gpt-oss-120b | llama.cpp | 1× DGX Spark | 59 | gpt-oss-120b 59;Qwen3-8B 44;Qwen3.8-27B dense 13;3 次平均。能效 1.15 token/W,8B 为 0.84 | 实测 | 2026-10-29 | 链接 |
| Qwen3.8-Flash-Next | ExLlama | 1× DGX Spark(GB10) | 58.4 | code 58.4,prose 53.9;聚合(另计)8 请求 41.5(1 slot,排队);32K 提示读入 662;同机 Mia TensorFold recipe code 43.2 | 实测 | 2026-10-26 | 链接 |
| DeepSeek-V4.1-Flash(sudoingX 2.7-bit 专家混合位宽) | vLLM | 2× DGX Spark | 57.9 | v1.1:代码 103.0 / 散文 57.9 / 结构化 141.0 tok/s(DSpark 开);prefill 8K 2,090、32K 2,092 tok/s(v1 1,763 / 1,773);32K 首 token 15.7 s | 实测 | 2026-10-13 | 链接 |
| DeepSeek-V4.1-Flash(sudoingX 2.7-bit 专家混合位宽) | vLLM | 2× DGX Spark | 57.2 | 复现 sudoingX recipe,单流思考关、3 次 <1% 差:结构化 135.5 / JSON 115.2 / 数学 114.0 / 代码 91.3 / 散文 57.2;关草稿约 44;8K→240K 散文 57.6–61.5;TTFT 8K 4.3 s / 35K ~18 s / 240K 91.8 s;Hermes Agent 回合 82–94 | 实测 | 2026-10-15 | 链接 |
| DeepSeek-V4.1-Flash-1017 BLACKFOLD(去拒答) | TensorFold | 2× DGX Spark(GB10,双 RoCE 链路) | 57.1 | 125K 上下文 A/B(4 次,temp 0):单流代码 92.8 / 散文 57.1(Python 引擎 89.6 / 55.2);2 流每路代码 69.8;125K 冷 prefill 62.0 s;输出与参考逐 token 一致;作者称散文与 lucataco 持平 | 实测 | 2026-10-20 | 链接 |
| DeepSeek-V4.1-Flash-1017 | vLLM | 2× DGX Spark(GB10;GPU 锁频 2000 MHz) | 57 | 散文约 57 tok/s(1 流)/ 合计约 91(3 流);Elevatormusic 同脚本:散文 50.6、代码 82.4–88.9(对照 TF 56.8/92.2,TF 仍更快);KLD 0.0201 / top-1 95.96%;冷 314K prefill 2,066;本机锁 2000 MHz;Elevatormusic 日志约 2.4 GHz(其帖未写死) | 实测 | 2026-10-19 | 链接 |
| DeepSeek-V4.1-Flash-1017 | TensorFold | 2× DGX Spark(GB10,CX7 直连) | 56.8 | 单路解码(6 次构建中位,思考关):散文 56.8 / 代码 92.2;思考开 54.2 / 71.6;同机同权重 vLLM(MiaAI kit)27.0 / 39.9;合计(已发布引擎)2/3/4 路 散文 73.5 / 82.3 / 94.4、4 路代码 140.3;冷 prefill 32K 2,165(5 次中位,2,065–2,201);1,035,020 token 针测通过(TTFT 13.6 分钟) | 实测 | 2026-10-18 | 链接 |
| DeepSeek-V4.1-Flash-1017 | TensorFold | 2× DGX Spark(GB10,CX7) | 55.4 | 8 slots、400K 池、含视觉塔:1 路 散文 55.4 / 代码 103.5 / 结构化 62.7 / 列表 70.9;合计 2 路 81.5 / 126.2,4 路 108.8 / 163.8,8 路 134.8 / 202.7(散文 / 代码);首字 0.19–0.26 s;不含视觉塔代码 1 / 4 路 98.1 / 158.5 | 实测 | 2026-10-18 | 链接 |
| Qwen3.8-Flash-Next | vLLM | 2× DGX Spark | 54.4 | 1 流 54.4 tok/s、8 流 207、32k 预填充 2,962 tok/s(均为 mia-ai.net;帖文写约 50 单流 / 约 212 8 流) | 实测 | 2026-08-31 | 链接 |
| GLM-5.3-Flash | TensorFold | 2× DGX Spark(TP2) | 54 | 1 流 54 tok/s;2 流 83;4 流合计 142(旧 0.3.4:40/53/54) | 实测 | 2026-10-01 | 链接 |
| Qwen3.8-Flash-Next | NVIDIA Flare | 1× DGX Spark | 52.7 | 配方 v2(仓库 sxuff/qwen38-flash-next-flare,提交 d37c2628e0;results/v2 附原始数据与版本记录)。本配方 A:Flare 0.1.0 @ca1f960 + 4 个补丁,权重 nvidia/Qwen3.8-Flash-Next-FP4-Local @b9ce18a6,MTP 3 草稿,greedy。flashnext-tf405 冻结测试:4 个提示 × 3 次 × 400 token,每种配置 3 次新启动。单请求 decode 52.7(52.0–53.3)作主值。同测 Hyperflare(NVIDIA/flare-local-inference 改名)@8a887202:MTP 51.3,DFlash2 55.5。8 个编码 agent 合计:A 85.4,Hyperflare MTP 88.3,不作单流主值。测于 2026-11-12 至 11-13。旧主值:2026-10-26 X 帖单流约 50 https://x.com/filicroval/status/2114454660396564597 。新帖 https://x.com/filicroval/status/2121282624471605457 。更早一帖(2026-10-24):FP4 单流 50.7;同机 TensorFold EXL3 75.7;32K 提示读入 14.1 秒;8 个智能体合计 77.6,首 token 时间 7 秒,不作单流主值。帖子 https://x.com/filicroval/status/2113985358320840881 | 实测 | 2026-11-13 | 链接 |
| Ornith-1.5-122B | TensorFold | 1× DGX Spark | 52.6 | thinking 关:单流散文 52.6 / 代码 83.3;2 流合计散文 68.0 / 代码 103.4;4 流合计散文 90.4 / 代码 111.0;prefill 4K 2,450 / 32K 1,955 / 128K 1,230;设备内存约 69 GiB(含 DFlash2) | 实测 | 2026-10-21 | 链接 |
| Qwen3.8-Flash-Next-hibrid48(uncensored) | vLLM | 2× DGX Spark(TP=2) | 51 | prose 51 tok/s | 实测 | 2026-10-03 | 链接 |
| Nemotron 3.5 Super VL 120B | pulsar-inference-stack | 1× DGX Spark | 51 | 1 个并发 51;聚合(另计)8 个并发 225。2× Spark(TP2,RoCE):78 → 307,8 并发 p50 首 token 1.45 秒降到 0.67 秒。两者都通过 8 并发 1 小时稳定测试。首次启动的 FlashInfer 自动调优会使单机 OOM,设 MAX_JOBS=2 可解 | 实测 | 2026-10-31 | 链接 |
| DeepSeek-V4.1-Flash-1017 | ExLlama | 2× DGX Spark | 50.3 | 按草稿深度:无草稿 31.3;散文最高 50.3(深度 2);代码最高 87.3(深度 6);结构化任务最高 131.6(深度 5,只适用于结构化输出,不是通用速度)。tok_s 取散文 | 实测 | 2026-10-28 | 链接 |
| Qwen3.8-Flash-Next | 未注明 | 1× DGX Spark (GB10) | 50.3 | 复现 MiaAI_lab recipe,按流合计:1/2/4/8 流 50.3/75.8/117.5/162.0(Mia:48.7/74.6/113.7/…) | 实测 | 2026-09-19 | 链接 |
| Qwen3.8-Flash-Next | vLLM | 1× DGX Spark | 48.7 | 1 流 48.7 tok/s(mia-ai.net,帖文未写单流);8 流 117 prose / 180 code(帖文);峰值内存 91 GiB | 实测 | 2026-09-19 | 链接 |
| DeepSeek-V4.1-Flash | vLLM | 2× DGX Spark | 48.5 | 35K agent 提示 48.5 tok/s;17K–559K 深度约 30–32.6 | 实测 | 链接 | |
| GLM-5.3-Flash(320B/18B 激活) | TensorFold | 2× DGX Spark | 47.1 | 1 用户真实提示(TensorFold / vLLM):JSON 51.5 / 50.3,代码 47.1 / 41.0,改写 52.0 / 40.7,解释 42.0 / 33.3,故事 36.3 / 24.6;4 用户两者持平;128K 提示 91 秒读入,第 2 轮从缓存 1.3 秒。tok_s 取代码值 | 实测 | 2026-11-01 | 链接 |
| Qwen3.8-Flash-Next | vLLM | 1× DGX Spark | 46.5 | 5 次中位,温度 0.7,300 token:JSON 62.4 / 代码 58.0 / 解释 46.5 / 改写 44.2 / 故事 33.6;随机文本 21.3 | 实测 | 2026-10-23 | 链接 |
| MiMo-V2.6-Flash-MOPD | TensorFold | 2× DGX Spark(RoCE) | 46.15 | 单流代码 63.4 / 散文 46.15 / 结构化 53.1;4 流合计:结构化 103.6 / 代码 81.4 / 散文 78.3;冷 prefill 1,857–1,941;FP8 KV 池 2.9M | 实测 | 2026-10-21 | 链接 |
| Qwen3.8-27B | TensorFold | 1× DGX Spark | 45.6 | TensorFold 1.2.2(niklaslenz,2026-11-05):代码 49.0 / 散文 45.6;2K 预填 889(1.2.1 为 354),128K 预填 660;8 流合计 108.8(x.com/niklaslenz_ai/status/2118316147686654429)。历史:ashxhart 更早 TensorFold 散文单流 58.3 / 2 流 108.5 / 8 流 220(https://x.com/ashxhart/status/2105745818137280545)。tok_s 取 1.2.2 散文 45.6 | 实测 | 2026-11-05 | 链接 |
| MiniMax-M3.1-Flash | NVIDIA Flare | 4× DGX Spark | 45 | C1 45;聚合(另计)C2 61 / C4 75。作者称 Flare 还没完全优化 | 实测 | 2026-10-27 | 链接 |
| Qwen3.8-27B | vLLM | 1× DGX Spark | 42.2 | spark-arena 排行榜 llama-benchy(128 输出):1 用户 42.2 tok/s、prefill 2,158;100K 29.5;16K 2 用户合计 60.6|作者自测:25 提示中位 65.1(15.35 ms/token);质量 vs BF16 恢复 99.3–101.2% | 实测 | 2026-10-17 | 链接 |
| Qwen3.8-27B | SGLang | 1× DGX Spark | 42 | 单流 42 tok/s;C8 114;TTFT 0.2s;1.86M KV | 实测 | 2026-08-23 | 链接 |
| Nemotron 3.5 Super VL 120B | TensorFold | 1× DGX Spark(GB10) | 40.6 | code 40.6,prose 42.4;32K 提示首 token 14.3s;聚合(另计)8 请求 84.2 | 实测 | 2026-10-25 | 链接 |
| GLM-5.3-Flash | TensorFold | 2× DGX Spark | 38.7 | MiaAI 1104 配方(TensorFold,1M 上下文,8 slot,GPU 锁 2200 MHz)。niklaslenz:散文 38.7 / 代码 42.4(思考关,512 token,2 次中位数);用 Mia 自带测试方法复现 47.8(思考开),4 流合计 87.7,128K 预填 1,787。jmurillocode:散文单流思考关 33.7 / 开 40.3,8 流 89.9 / 101.1,预填约 1,747(x.com/jmurillocode/status/2118322418523480496)。JASONMCNAB:与 Mia 公布值差 ≤5%,1 流 50.3 vs 47.8(x.com/JASONMCNAB/status/2118312375732367487)。Mia 原帖自报约 48 / 4 流约 87(x.com/MiaAI_lab/status/2118005417494155664)。历史:同作者更早 EXL3 配方单流约 60.4 / 4 流 108.8(x.com/MiaAI_lab/status/2105598458547646875)。tok_s 取 niklaslenz 散文 38.7 | 实测 | 2026-11-05 | 链接 |
| Qwen3.8-27B | SGLang | 1× DGX Spark | 36.59 | HumanEval+ 50 题、思考开、c=1 净解码:普通 12.65 / MTP 24.2 / DSpark 27.96 / DFlash2 36.59 tok/s(tok_s 取 DFlash2 代码任务净解码;帖子无散文分项) | 实测 | 链接 | |
| Qwen3.8-Flash-Next | TensorFold | 1× DGX Spark(GB10) | 36.2 | 4 引擎 agent 测试,30K 上下文,各 3 次:TensorFold+Mia 补丁 36.2,NVIDIA Flare 31.2,stock TensorFold 30.2,vLLM 26.4;JSON 输出 67–70,prose 31–34 | 实测 | 2026-10-25 | 链接 |
| GLM-5.3(755B 全量,非 Flash) | TensorFold | 4× DGX Spark(GB10,RoCE v2,TP=4) | 35.3 | 128K 提示后单请求 decode:MTP 35.3 / DFlash2 42.9;256K 33.2 / 40.7;512K 32.2 / 37.8;128K 首 token 120.1 秒(MTP);编程提示,推理强度低,KV 4bit,GPU 钟限 2.1 GHz,无前缀缓存。tok_s 取默认 MTP 的 128K 值 | 实测 | 2026-10-27 | 链接 |
| Qwen3.8-27B | vLLM | 1× DGX Spark | 34.89 | 原生栈 34.89 tok/s(MTP depth 3);同一 GGUF + llama.cpp 无 MTP:11.17 | 实测 | 2026-09-26 | 链接 |
| GLM-5.3-Flash | TensorFold | 2× DGX Spark | 34 | stock TensorFold:单流 34 / 8 流聚合 59;1M 上下文;冷启动约 2.5 分钟(对照作者旧 vLLM NVFP4 配方约 16 分钟、单流 28)。附 GitHub 配方仓库与 ./run.sh。与 x-017(MiaAI 1104,散文 38.7)同卡不同配方。tok_s 取单流 34 | 实测 | 2026-11-05 | 链接 |
| Qwen3.8-27B | vLLM | 1× DGX Spark | 32.01 | HumanEval+ 50 题、思考开、c=1 净解码:普通 10.95 / MTP 20.89 / DSpark 25.58 / DFlash2 32.01 tok/s(tok_s 取 DFlash2 代码任务净解码;帖子无散文分项) | 实测 | 链接 | |
| DeepSeek-V4.1-Flash-1017 | TideLM | 2× DGX Spark(GB10,TP) | 31.8 | 3 次中位,1,024 token,temp 0.6:散文 31.8 / 代码 49.0;8K 提示首 token 4.8 秒。tok_s 取散文 | 实测 | 2026-10-27 | 链接 |
| DeepSeek-V4-Flash (0731) | 未注明 | 1× DGX Spark | 31.5 | x1 31.5 tok/s,TTFT 408ms;x2 合计 29.8 | 实测 | 2026-08-21 | 链接 |
| GLM-5.3-Flash | vLLM | 2× DGX Spark | 31.2 | 1 用户 31.2;聚合(另计)2/4 用户 45.3/54.7;8k 提示读入 3.6s。2026-11-08 Reederey b12x 套件(vLLM + FlashInfer b12x,MTP-3,1M 上下文):3 次代码测 c1 40.2 / c8 79.4。与本行 31.2 同模型×引擎族×双 Spark,但 harness 为代码 bench 且镜像钉死,不作覆盖;40.2 记为代码任务备注。 | 实测 | 2026-10-26 | 链接 |
| DeepSeek-V4.1-Flash-1017 | Strata (Strata-DS fork) | 1× DGX Spark(GB10,128GB 统一内存,4TB NVMe) | 30.8 | 真实编码 agent 会话 48 轮(上下文 10K–91K)共 70,211 token 平均 30.8 tok/s(每轮 23.6–36.4,中位 28.6);单次测:上下文 8K/32K/64K/128K/250K 解码 24.2/27.4/27.4/27.3/22.9;agent 每轮新增 ≤50 token 首字中位 0.57 s,同一 10K 系统提示开新会话 0.25 s;冷 prefill 约 500 tok/s(250K 8.3 分钟);vs 官方 MXFP4 KL 0.074 / top-1 88.6% | 实测 | 2026-10-18 | 链接 |
| ThinkingCap-Qwen3.8-Flash-Next | llama.cpp | 1× DGX Spark(GB10) | 30.6 | code 30.6,prose 30.3;32K 提示首 token 51.9s;聚合(另计)4 请求 46.0,8 请求 44.3;默认设置 3 次均被 OOM 终止 | 实测 | 2026-10-26 | 链接 |
| Qwen3.8-27B | llama.cpp | 1× DGX Spark | 30.02 | HumanEval+ 50 题、思考开、c=1 净解码:普通 10.8 / MTP 22.2 / DSpark 19.7 / DFlash2 30.02 tok/s(tok_s 取 DFlash2 代码任务净解码;帖子无散文分项) | 实测 | 链接 | |
| GLM-5.3-Flash | 未注明 | 2× DGX Spark | 30 | 30 tok/s | 实测 | 链接 | |
| Ornith-1.5-122B | llama.cpp | 1× DGX Spark | 29.2 | 代码 29.2(MTP 开,比不开快 1.22 倍)/ 数学 30.8;散文开 MTP 后变慢(仓库数据);8K prefill 1,092(ubatch 4096) | 实测 | 2026-10-21 | 链接 |
| Ornith-1.5-122B | TabbyAPI | 1× DGX Spark | 29.2 | exllamav3 + TabbyAPI(sm_121 构建):decode 29.2(三种构建中最快);8K 提示 5.3 s;内存约 71 GiB;GPQA Diamond 70.7 / IFEval 78.5;用的是 TabbyAPI,不是 Mia 自己的配方 | 实测 | 2026-10-21 | 链接 |
| DeepSeek-V4.1-Flash-1017 | vLLM | 4× DGX Spark(GB10,无交换机 QSFP 环) | 29 | 单流:散文 29–43 / 代码 65–67;4 流代码合计 115–127;111,840 token 长任务均速 46.5(代码段约 80);32K prefill 3,655;默认关 arx 约慢 3% | 实测 | 2026-10-20 | 链接 |
| DeepSeek-V4.1-Flash | 未注明 | 2× DGX Spark | 29 | 解码 29 tok/s prose / 41 code;预填充 2,000 tok/s;top-token 一致率 92%,KLD 0.07 | 实测 | 2026-10-03 | 链接 |
| Ornith-1.5-122B | llama.cpp | 1× DGX Spark | 28.2 | decode 28.2;8K 提示词 8.5 s;内存约 80 GiB;预编译 CUDA 12.8 镜像(最高 sm_120)在 GB10 上只有 1.8 | 实测 | 2026-10-21 | 链接 |
| RED-SNOW-5.3-FLASH(GLM-5.3-Flash 去拒答版) | TabbyAPI | 1× DGX Spark | 27.5 | 第 2 部分单流:结构化 45.2 / JSON 45.7 / 代码 35.9 / 散文 27.5;33K 研究回合 32;8K→240K 解码 50.1→44.4;TTFT 8K 14 s / 65K 79 s / 240K 280 s;prefill 450–640 tok/s;浅层 69 W;第 1 部分(同作者前一帖):结构化 43.2 / 代码 40.7 / 散文 29.2 | 实测 | 2026-10-14 | 链接 |
| Ornith-1.5-122B | vLLM | 1× DGX Spark | 26.5 | decode 26.5;8K 提示 3.0 s(三种构建中最快);内存约 110 GiB(vLLM 预留 KV);GPQA Diamond 70.2 / IFEval 82.0;同机 Q4_K_M llama.cpp 28.2(x-099)、EXL3 TabbyAPI 29.2(x-110) | 实测 | 2026-10-21 | 链接 |
| Clover-35B-A3B | SGLang | 1× DGX Spark | 26 | 扩散 LLM。代码 25.7 / 散文 26.0;8K 首 token 1.4s,32K 6.6s,128K 40.8s。SGLang nightly + 作者 PR 46927(改了 7 行设备白名单以支持 GB10)。512 token,贪婪,思考关,2 次中位数。tok_s 取散文 26.0 | 实测 | 2026-11-05 | 链接 |
| Nanbeige4.3-33B | vLLM | 1× DGX Spark | 22 | NVFP4 + DFlash2:JSON 和代码 22–24,散文 11–13;不加草稿 11.3(2 台 Spark 20);FP8 单台 6.3;BF16 两台 6.8。GPQA Diamond / IFEval(思考关)三种精度在噪声范围内 | 实测 | 2026-10-29 | 链接 |
| MiniMax-M3.1-Flash | vLLM | 2× DGX Spark | 21.6 | 代码 21.6(2.15bpw 为 29.1);IFEval 74.5% 对 60.5%;decode 到 146K 都不下降 | 实测 | 2026-10-28 | 链接 |
| GLM-5.3(744B 全量,非 Flash) | 未注明 | 2× DGX Spark | 20 | prose 约 20 | 实测 | 2026-10-29 | 链接 |
| DeepSeek-V4.1-Flash(REAP 256 专家剪枝) | vLLM | 2× DGX Spark | 19.2 | c=1、DSpark k=5、32K:代码 30.4 / 推理 28.3 / 聊天 27.0 / 散文 19.2 tok/s(计数类 49.4,作者警告勿用);prefill 700–2,200;25K 提示 TTFT ~22 s | 实测 | 2026-09-12 | 链接 |
| GLM-5.3(744B 全量,非 Flash) | TideLM | 2× DGX Spark(GB10,TP) | 17.2 | 3 次中位,1,024 token,temp 0.6:散文 17.2 / 代码 20.8;8K 提示首 token 19.5 秒。tok_s 取散文 | 实测 | 2026-10-27 | 链接 |
| Muse Spark Open 816B-A42B | llama.cpp | 2× DGX Spark(GB10,200GbE RoCE) | 7.01 | 单流 decode 约 7 tok/s(28 tok 提示 7.01;650 tok 6.88;9,146 tok 6.76);加载约 10 分 48 秒;prefill 短提示 ~26、9K 提示 ~263 tok/s;并发 4 槽合计约 14–16 tok/s | 实测 | 2026-10-17 | 链接 |
| Nanbeige4.3-33B | vLLM | 1× DGX Spark | 4 | 约 4 | 实测 | 2026-10-26 | 链接 |
| Qwen3.8-Flash-Next | vLLM | 1× DGX Spark | 散文 50.7(1路)→122.9(4)→189.6(8)→282.6(16);作者表称 16 路 322 | 实测 | 链接 | ||
| Qwen3.8-Flash-Next | vLLM | 2× DGX Spark | 散文 81.6;结构化 138.3;代码 133.2;4 流结构化合计 383.1 | 实测 | 链接 | ||
| Qwen3.8-27B | SGLang | RTX 5090 / 1× DGX Spark | 206 tok/s / 38 tok/s | 实测 | 链接 | ||
| GLM-5.3-Flash | TensorFold | 2× DGX Spark | 散文 60.4;结构化 114.7;4 流合计 108.8;8K 54.9 → 874K 44.6;2026-11-05 MiaAI 1104 配方见 x-017(独立复现散文 38.7) | 实测 | 链接 | ||
| MiniMax H3(Sol 加速 / 无加速) | NVIDIA Sol | 1× DGX Spark | Sol:480p 5 s 约 68 s(NVIDIA 公布 56 s);无 Sol >400 s;无 Sol 720p 20 步:5 s 7 分 / 10 s ~20 分 / 15 s ~45 分 | 实测 | 链接 | ||
| MiniMax H3 vs LTX-2.3 Eros | 未注明 | 1× DGX Spark | 864×480×5s:H3 平均 270 s;LTX 154 s(快 1.76×) | 实测 | 链接 | ||
| Wan2.2 | ComfyUI | DGX Spark 兼容机(温控降频) | 736×512 / 16fps:8 段 ×~5 s(共 ~40 s)13.5 分钟 | 实测 | 链接 | ||
| Ornith-1.5-35B-A3B | 未注明 | 1× DGX Spark | 24 并发会话最高 440 tok/s(合计) | 实测 | 2026-08-19 | 链接 | |
| GLM-5.3-Flash | 未注明 | 3× DGX Spark | 8 个对话合计 214 tok/s,最慢对话 26–30 tok/s | 实测 | 2026-10-14 | 链接 | |
| Spark-X2.5/2.6-4B | TensorFold | 1× DGX Spark(GB10) | 160 | 单流 160;预填 2k 5,800 | 官方 | 2026-10-26 | 链接 |
| LFM2.5-24B-A2B | TandemLLM | 1× DGX Spark | 151 | EXL3 3.5bpw(默认)聊天解码 151 tok/s,占 11.2 GB,top-1 与 BF16 一致 86.7%;另帖:普通生成 185、编辑最高 350;同作者 10-15(UTC+8)另帖称聊天 ~300 tok/s(2110434510936723897,条件未注明、视频未核,未计入 tok_s) | 官方 | 2026-10-15 | 链接 |
| Nemotron-3.5 Lightning 30B-A3B | TensorRT Edge-LLM | 1× DGX Spark 64GB | 126.9 | batch 1,128 token 输出,思考开:HumanEval 提示 126.9(不开草稿 73.4);SpeedBench 1K 108.5(73.3);SpeedBench 2K 105.3(72.8);峰值内存 27.9GB | 官方 | 2026-10-30 | 链接 |
| DeepSeek-V4.1-Flash-1017 | TensorFold | 4× GB10(DGX Spark,TP4) | 121 | TensorFold TP4 v0.3.5:decode 约 121;预填 8K 2,668 / 32K 2,900。注:niklaslenz 10-25 测 bertholomus 4× Spark 4.0bpw 为 82.8 / 80.8,quant 和版本不同,不能直接对比 | 官方 | 2026-10-24 | 链接 |
| Qwen3.8-27B | TensorFold | DGX Spark | 102.9 | 102.9 vs 34.9 tok/s(vLLM+MTP) | 转述 | 2026-09-27 | 链接 |
| Qwen3.8-Flash-Next | vLLM | 2× DGX Spark(QSFP 直连,TP2) | 95 | NVIDIA cluster playbook 命令(镜像 vllm-flash-next:8244d1c),fp8 KV:单流 JSON 98 / code 95 / rewrite 75 / explain 74(5 次中位数,temperature 0.7);没测聚合 | 官方 | 2026-10-25 | 链接 |
| DeepSeek-V4.1-Flash-1017 | SGLang | 4× DGX Spark(RoCE 双链路,TP4) | 91.3 | sparkDash 1.8.8,256 新 token,温度 0,思考关:c1 散文 91.3 / 代码 142.9 / json 130.6(3 次中位数),tok_s 取散文;聚合(另计)c16 散文 359.7 / 代码 471.6 / json 726.9;冷预填 4K 4,798 → 128K 6,291(重复 token 填充,偏高) | 宣称 | 2026-10-24 | 链接 |
| DeepSeek-V4.1-Flash-1017 | spark-ds41f | 4× DGX Spark TP4,MikroTik CRS812-DDQ 4× 200GbE RoCE | 89.2 | spark-ds41f e90b1e8a + 本地 HEAD 9b13cc2c(镜像 spark-ds41f:1107-local;改动仅 sudo/memguard 与 QEval,无内核改动)。运行配置 1M 上下文,DSpark 5 草稿,TP4。主值取作者更正后的 32K 起始上下文单流 prose 89.2,不用标题里的 structured 188.3;同口径 structured 184.8(32K)/ 188.3(标准上下文)另标。C8 合计 886.2,不作单流主值。方法有,无公开原始日志,降为宣称。线程 https://x.com/FT_IOxCS/status/2120833708693266798 2026-11-14 同作者同机 release 1107:单个 coding 提示,32K 起始上下文 143.8;标准短上下文 C1 coding 110.5;温度 0,思考关。coding 口径另标,主值仍为 prose 89.2。C16(32K)合计 422.8,不作单流主值。https://x.com/FT_IOxCS/status/2121296132630282446 | 宣称 | 2026-11-12 | 链接 |
| GLM-5.3-Flash | gr8 | 2× DGX Spark(GB10)TP2,ConnectX 200G 直连 | 76 | 配方作者本人帖:单流 76(原话 “76 if you're just running one”);8 流约 100 为多路合计,不作单流主值。README 正文无速度表,无原始日志,降为宣称。引擎 gr8,release 901ad084。帖中未写所用档位(默认 MAX_MODEL_LEN 262,144,TUNE=context 时 1,048,576),上下文不填。配方仓 github.com/kindlingai/glm-5.3-flash-exlr8-2x-spark。 | 宣称 | 2026-11-10 | 链接 |
| Qwen3.6-35B-A3B | Ollama | 1× DGX Spark | 73.5 | 256 token 热启动:1 节点 73.5 tok/s;经 RPC 拆到 2 节点 50.7 | 官方 | 2026-10-15 | 链接 |
| Qwen3.8-Flash-Next | TensorFold | 2× DGX Spark | 67.4 | 67.4 / 89.3 tok/s(后者作者称通用能力约降 10%) | 转述 | 链接 | |
| DeepSeek-V4.1-Flash-1017 | spark-engine | 3× DGX Spark(TP3,ConnectX-7 RoCE) | 67 | 短上下文单流(greedy):散文 67–70,代码 114,结构化 129;1→4 流散文 67→125;32K–64K 预填约 5.6K;1M 提示首 token 229 秒(约 4.5K),256K–1M 时 decode 53–56。作者另报 1× Spark 跑 Qwen3.8-Flash-Next 散文 68 | 宣称 | 2026-10-31 | 链接 |
| Qwen3.6-35B-A3B | 未注明 | 1× DGX Spark | 65 | 65 tok/s;1,960 PP | 转述 | 链接 | |
| Nemotron 3.5 Super VL | vLLM | 1× DGX Spark | 64 | JSON 71 / 代码 64;128K 上下文 29。tok_s 取代码。NVIDIA 的 Spark 命令改两处:显存 0.70,窗口 256K | 宣称 | 2026-11-03 | 链接 |
| gpt-oss-120b | vLLM | 2× DGX Spark(TP=2) | 55.7 | 单请求 vLLM TP=2 55.7 tok/s(8 并发合计 202);同机 SGLang TP=2 53.3;对照:Ollama 单节点 42 | 宣称 | 2026-10-15 | 链接 |
| Ling-3.0-flash | SGLang | 1× DGX Spark | 53.89 | GSM8K 1,319 题:decode 37.81 → 53.89(+42.5%);平均延迟 15.21 → 11.49 s;准确率无统计差异 | 官方 | 2026-10-29 | 链接 |
| Qwen3.8-27B | TandemLLM | 1× DGX Spark | 49.9 | StairCut 投机解码前后 13.7 → 49.9 tok/s(出自 TandemLLM 手册介绍帖)(手册中该数字属实测/计算/估算哪一类未核实) | 官方 | 2026-10-15 | 链接 |
| Beam-1.0-501B-A23B | TensorFold | 2× DGX Spark | 45.5 | 代码 45.5(vLLM 的 +36%);46K prompt 后短对话 2.2 s(之前 33 s);ctx 868K(vLLM 655K) | 宣称 | 2026-10-29 | 链接 |
| Qwen3.8-27B | Foundry Local | 1× DGX Spark | 44.6 | 微软博文官方对比图(DGX Spark):Foundry Local 生成速度 4K 44.58 / 16K 43.00 / 32K 41.77 / 65K 40.77 / 131K 34.31 / 260K 30.21;同设定 llama.cpp 27.23 / 24.14 / 26.20 / 20.93 / 15.04 / 12.82。数字从官方配图读取。微软自家对比。tok_s 取 4K 的 44.6 | 官方 | 2026-11-05 | 链接 |
| Nemotron-Labs Dory 1.0 4B | TensorFold | 1× DGX Spark(GB10) | 44 | 单流 44;聚合(另计)8 流 299 | 官方 | 2026-10-26 | 链接 |
| Qwen3.8-27B (AEON Ultimate) | vLLM | 1× DGX Spark(GB10,121 GiB 可用统一内存,DGX OS 7.6.0) | 43.7 | vLLM 0.29.0+aeon.sm121a.dspark(镜像 aeon-vllm-ultimate:2026-09-18-v0.29.0-omni),配置上下文 262,144,FP8 KV,DFlash2 最多 9 个推测 token。作者 7 月同一脚本 bench_aeon.py:11 个提示逐个运行,greedy,思考关。decode 中位 43.7(两次相同)作主值;最小 / 最大 23.7 / 79.4;TTFT 中位 272 ms。思考开的单请求 32.3。快速并发测试(思考开)1 / 4 / 16 用户 合计 34.5 / 74.9 / 163.5,不作单流主值。博文有完整配置,无原始数据,记为宣称。X 帖 https://x.com/mrru5s3ll/status/2121373870670368890 | 宣称 | 2026-11-14 | 链接 |
| Qwen3.8-Flash-Next | TensorFold | 2× DGX Spark(GB10,256GB 合计,TP2) | 37.5 | TensorFold 1.2.5 正式版,双 Spark TP2,作者写明此双机路径为 experimental。单流 decode 散文 37.5 作主值,代码 40.1 另标;均为 2 次中位,512 token,温度 0.7,思考关。8 路同时 合计 89.0,不作单流主值。预填 32K 1,475。配置窗口 262,144,16 GiB 提示缓存,8 个 slot。无公开原始日志,故为宣称。 | 宣称 | 2026-11-10 | 链接 |
| Gemma 4 12B | TensorFold | 1× DGX Spark(GB10) | 37 | 单流输出 37;MTP 草稿模型下 greedy chat 30→67(2.2×,另计) | 官方 | 2026-10-24 | 链接 |
| Ling-3.1-flash-1019 | TensorFold | 2× DGX Spark | 37 | decode 约 37;255K prompt 重发时 0.10 s 开始输出 | 宣称 | 2026-10-29 | 链接 |
| GLM-5.3-Flash | TensorFold | 1× DGX Spark | 33.8 | MTP 1→3 drafts:结构化 33.91→40.24,数学 32.78→35.67,代码 32.67→33.46,散文 27.40→25.79,均值 31.69→33.79。作者标题写 40。tok_s 取均值 33.8 | 宣称 | 2026-11-05 | 链接 |
| Qwen3.8-Flash-Next | Surogate | 1× DGX Spark | 31.4 | 1 用户 31.4(真实文本,MTP);聚合(另计)16 用户 115.7;vLLM 需 123.5 GiB,Spark 只有 121.7 GiB,放不下。另一帖:Qwen3.8-27B NVFP4 在 RTX 5090 上 1 用户 decode 70.1(vLLM 71.6) | 宣称 | 2026-10-31 | 链接 |
| DeepSeek-V4.1-Flash-1017 | vLLM | 1× DGX Spark(冷专家放 SSD) | 30.3 | 基于 ViC305 的 vLLM 运行时,视觉开:真实 17–21K token Hermes 请求 decode 30.3;短 prompt 35–40;32K–128K 预填约 910–1,020;ViC305 转发 AgentSparko 新测称 decode 40、预填 1,020(x.com/ViC305/status/2118028345615229131,属转述,未改主值) | 宣称 | 2026-11-04 | 链接 |
| Mistral Large 4 (1T-A52B) | gr8 | 4× DGX Spark,QSFP 环网(无需交换机) | 30 | gr8 @069ec213 + patches/gr8 的 29 个补丁(docs/PATCHES.md 写明提交)。配方 README 表,单请求 prose decode 30 作主值;code edit 35–40、new code 31–34 另标。24K 提示后 20.0。配置 65,536(提示与回复合计,多请求共用一个池)。2/4 请求合计 30 / 39,不作单流主值;8 个请求时 4 个运行、4 个等待,合计仍为 39。tools/bench.py,三次新启动,配方作者第一手表,但没有逐次原始数据,记为宣称。窗内帖 https://x.com/GrubbyChicken/status/2120597958374912408 | 宣称 | 2026-11-12 | 链接 |
| Gemma 4 31B | TensorFold | 1× DGX Spark(GB10) | 29.9 | greedy chat:无草稿 12.6 → z-lab DFlash 29.9(2.4×),tok_s 取 DFlash 值 | 官方 | 2026-10-24 | 链接 |
| GLM-5.3-Flash(320B/18B 激活) | 未注明 | 1× DGX Spark | 27.6 | 平均 24.6;编码 27.6 tok/s | 转述 | 链接 | |
| GLM-5.3-Flash | TensorFold | 1× DGX Spark(GB10,128GB) | 26 | 帖文链接的作者 gist 写明补丁打在 TensorFold main commit 7d97cc656(v1.2.6 之后),不是按发帖时最新提交推断。单流 decode 散文约 26 作主值,代码约 35 另标,思考关。预填约 650,至 128K 大致持平。配置 2 个 slot、每个 262,144。2 路 合计约 34,不作单流主值。约值且无原始日志,故为宣称。 | 宣称 | 2026-11-10 | 链接 |
| MiniMax-M3.1-Flash | 未注明 | 2× DGX Spark | 23 | 代码 24.7 / 散文 23.0;8K TTFT 17.7s。tok_s 取散文 23.0 | 宣称 | 2026-11-05 | 链接 |
| Ripple-65B Preview | vLLM | 1× DGX Spark | 19.9 | 代码 19.9 / 散文 8.2;2K 预填 1,049,120K 预填 654;TTFT 2K 2s / 31K 34.5s / 120K 184s。早期 vLLM PR。tok_s 取代码 19.9 | 宣称 | 2026-11-05 | 链接 |
| Qwen3.5-397B | Ollama | 2× DGX Spark(200 Gb/s 直连,RPC 层拆分) | 15.3 | 2 节点 15.3 tok/s(单节点放不下),加载 188 s | 官方 | 2026-10-15 | 链接 |
| DeepSeek-V4.1-Flash-1017 | vLLM | 2× DGX Spark(GB10,直连 QSFP/RoCE,专家自本地 NVMe 流式读入) | 14 | 配方作者 README。Mia 双 Spark 套件 @6f7d1590,vLLM,DSpark,官方 1017 原生权重。测于 2026-11-06,greedy,思考关,bench.py decode。缓存预热后散文 14.0–14.6,取低值 14.0 作主值;代码 20.7–21.8 另标。4 路 合计 23.5,不作单流主值。上下文 262K。表为作者摘要,未见逐次原始日志,故为宣称。补丁哈希 8047fc 未在 README 写明,不记录。 | 宣称 | 2026-11-06 | 链接 |
| Ripple-65B Preview | TensorFold | 1× DGX Spark GB10 128GB | 10 | TensorFold1.2.3原生CUDA ricursive加PR2302/2475 stack,不是stock发布版。单流测速commit0c8fd876a;官方NVFP4目标rev99eea447、DFlash2 rev35609b3。greedy散文10.0对照plain4.4,256输出、3次中位;主提示长度与完整CLI未给,保守标宣称。greedy code26.1另列;C8 code49.5/散文40.3为多路合计,不作单流主值。2048/8192是单独cold prefill输入,不挪作主decode context。上游stack未跑CI。2026-11-09同作者同机:单流 greedy 代码 24;修草稿计费后 8 流每流 15.5(原 6.1),8 流多路合计代码 greedy 124(散文 greedy 合计 62),均不作单流主值。本行 greedy 散文 10.0 不变。 | 宣称 | 2026-11-08 | 链接 |
| DeepSeek-V4.1-Flash EXL3 3bpw | vLLM | 2× DGX Spark(无头模式,解锁 +2GB) | 作者称 25–40 tok/s(难散文→结构化),多流 >50;明确“不做精确声明”(无单一数值,tok_s 留空);KV 池约 3M token(最多 6 并发共享) | 宣称 | 2026-09-18 | 链接 | |
| Qwen3.8-27B | TensorFold | 1× DGX Spark(GB10) | 新默认 prompt/decode 配方,冷启动读入(1.1.3→1.1.4):2K 834→1,281(+54%)/ 8K 612→1,266(+107%)/ 32K 326→1,165(+258%)/ 64K 203→1,045(+416%);输出 1–8 流约 +2%,发布说明没给绝对输出速度,tok_s 留空;质量与旧配方相同(40 例精确 27 例) | 官方 | 2026-10-24 | 链接 | |
| Qwen3.8-Flash-Next | TensorFold | 1× DGX Spark(GB10) | 只测预填,相对 1.1.4:2k 1,306→1,583(+21%),16k 1,359→1,723(+27%),32k 1,323→1,687(+28%),64k 1,174→1,373(+17%);1/2/4/8 流服务吞吐 +2/10/20/28%;tok_s 不填 | 官方 | 2026-10-26 | 链接 | |
| Qwen-Image 2.1 | SGLang | 1× DGX Spark(对照 4090) | 52.6 s / 1024²;SGLang 表:Spark 35.4 s,4090 18.7 s | 转述 | 链接 | ||
| Qwen3.8-27B | TensorFold | RTX 5090 vs 1× DGX Spark | 无草稿 75 vs 14.4;投机 215 vs 44 tok/s | 转述 | 链接 | ||
| GLM-5.3-Flash | 未注明 | 3× DGX Spark | 散文 77 单流;4 流 146 | 转述 | 链接 | ||
| DeepSeek-V4.1-Flash(510GB 权重) | 未注明 | 1× DGX Spark | HTML 游戏 36.6;SQL 31.8;Python 24.3;长故事 17.1;PP 337(>2,000 token 退化) | 转述 | 链接 | ||
| DeepSeek-V4.1-Flash | 未注明 | 3× DGX Spark | 散文 37.9;4 流合计 78.6(独立 SGLang C1 26.5) | 转述 | 链接 | ||
| DeepSeek-V4.1-Flash | TensorFold | 4× DGX Spark | MXFP4:C1 峰值 77.2,6 流 214;TensorFold:散文 87,代码 124.8,4 流 246.8;PP 5,800–5,925 | 转述 | 链接 | ||
| DeepSeek-V4.1-Flash | 未注明 | 4× DGX Spark(无交换机直连) | 32 请求时最高 494 tok/s 合计 | 转述 | 链接 | ||
| FastH3 V2 / Trim | 未注明 | 1× / 2× DGX Spark | 1×:480p 141.4 / 125.8 s,Trim 768p 340.1 s;2×:87.2 / 78.3 s | 官方 | 链接 | ||
| ACE-Step 1.5 + LTX-2.3 | ComfyUI | 1× DGX Spark | 2 分 05 秒歌曲一次生成;+2:28 口型视频端到端 32 分钟 | 转述 | 链接 |
数字来自各条来源。本项目未复测。各行的模型与设置不同。来源等级:官方 = 项目方或厂商;实测 = 发帖人亲测(引擎或配方作者须公开原始数据和复现步骤);转述 = 二手;宣称 = 预测或无复现细节。