MiniMax:本地推理速度(tok/s),均有出处
截至 2026-11-14,本数据集中 MiniMax 有 9 条配方,其中发帖人实测 4 条。单机单流文字最快实测:24 tok/s,模型 MiniMax-M3.1-Flash,引擎 Project Maya(RTX 5090 32GB + 92GiB RAM;实测;2026-11-03;来源)。其中 9 条有日期,从 2026-10-25 到 2026-11-05。
| 模型 | 引擎 | 硬件 | tok/s | 指标 | 来源等级 | 日期 | 来源 |
|---|---|---|---|---|---|---|---|
| MiniMax-M3.1-Flash | SGLang | 4× DGX Spark(TP4,无交换机 RoCE 环) | 59 | SGLang TP4 / nnodes=4,NCCL 2.30.7 Ring,fp8 KV:单流 decode 59.0(TTFT 0.183s);预填 32K 1,121 / 266K 1,248;聚合(另计)6 并发 122.9。配方来自 knapcio SGLang profile | 实测 | 2026-10-25 | 链接 |
| MiniMax-M3.1-Flash | NVIDIA Flare | 4× DGX Spark | 45 | C1 45;聚合(另计)C2 61 / C4 75。作者称 Flare 还没完全优化 | 实测 | 2026-10-27 | 链接 |
| MiniMax-M3.1-Flash | Project Maya | RTX 5090 32GB + 92GiB RAM | 24 | Maya 1.1.50 默认安装,512 token 2 次中位,思考关:decode 24.0(代码 24.4 / 散文 23.6);249K prompt 时 18.7。首 token 16K 36.6 s,128K 465.8 s | 实测 | 2026-11-03 | 链接 |
| MiniMax-M3.1-Flash | vLLM | 2× DGX Spark | 21.6 | 代码 21.6(2.15bpw 为 29.1);IFEval 74.5% 对 60.5%;decode 到 146K 都不下降 | 实测 | 2026-10-28 | 链接 |
| MiniMax-M3.1-Flash | Strata (syoyo fork) | 2× Tesla V100 32GB + 181GB RAM | 40.2 | syoyo 的 Strata fork:2×V100 decode 40.2(精确)/ 65.2(有损 --speed max);1×V100 23–28(有损 56);16K 预填 634–640。长上下文 decode 下降:128K 12.8,512K 6.0 | 宣称 | 2026-11-04 | 链接 |
| MiniMax-M3.1-Flash | llama.cpp | Mac Studio M5 Ultra | 40 | 作者调优的 llama.cpp(Metal 核与服务端改动,KLD 不变):单会话 DSpark 40–60;128K 预填 817 → 945;8 会话聚合(另计)约 59 → 约 110。tok_s 取下限 | 宣称 | 2026-11-04 | 链接 |
| MiniMax-M3.1-Flash (abliterated, gate/up Q3) | ds4 (DwarfStar) | Mac Studio M3 Ultra 256GB | 31 | 贪婪 31,长文 19.5。tok_s 取贪婪 31 | 宣称 | 2026-11-05 | 链接 |
| MiniMax-M3.1-Flash | Project Maya | 4× RTX 3090 24GB + EPYC(8 通道只插 2 条) | 23 | decode 23–31(同机 llama.cpp 最佳 6.7);预填 16K 1,120 / 28K 1,525(llama.cpp 219);冷专家经 CPU 约 19 GB/s | 宣称 | 2026-10-28 | 链接 |
| MiniMax-M3.1-Flash | 未注明 | 2× DGX Spark | 23 | 代码 24.7 / 散文 23.0;8K TTFT 17.7s。tok_s 取散文 23.0 | 宣称 | 2026-11-05 | 链接 |
数字来自各条来源。本项目未复测。各行的模型与设置不同。来源等级:官方 = 项目方或厂商;实测 = 发帖人亲测(引擎或配方作者须公开原始数据和复现步骤);转述 = 二手;宣称 = 预测或无复现细节。