⚡ 本地推理配方

English | 简体中文 | 日本語

MiniMax:本地推理速度(tok/s),均有出处

截至 2026-11-14,本数据集中 MiniMax 有 9 条配方,其中发帖人实测 4 条。单机单流文字最快实测:24 tok/s,模型 MiniMax-M3.1-Flash,引擎 Project Maya(RTX 5090 32GB + 92GiB RAM;实测;2026-11-03;来源)。其中 9 条有日期,从 2026-10-25 到 2026-11-05。

在配方库中筛选这些 →

模型引擎硬件tok/s指标来源等级日期来源
MiniMax-M3.1-FlashSGLang4× DGX Spark(TP4,无交换机 RoCE 环)59SGLang TP4 / nnodes=4,NCCL 2.30.7 Ring,fp8 KV:单流 decode 59.0(TTFT 0.183s);预填 32K 1,121 / 266K 1,248;聚合(另计)6 并发 122.9。配方来自 knapcio SGLang profile实测2026-10-25链接
MiniMax-M3.1-FlashNVIDIA Flare4× DGX Spark45C1 45;聚合(另计)C2 61 / C4 75。作者称 Flare 还没完全优化实测2026-10-27链接
MiniMax-M3.1-FlashProject MayaRTX 5090 32GB + 92GiB RAM24Maya 1.1.50 默认安装,512 token 2 次中位,思考关:decode 24.0(代码 24.4 / 散文 23.6);249K prompt 时 18.7。首 token 16K 36.6 s,128K 465.8 s实测2026-11-03链接
MiniMax-M3.1-FlashvLLM2× DGX Spark21.6代码 21.6(2.15bpw 为 29.1);IFEval 74.5% 对 60.5%;decode 到 146K 都不下降实测2026-10-28链接
MiniMax-M3.1-FlashStrata (syoyo fork)2× Tesla V100 32GB + 181GB RAM40.2syoyo 的 Strata fork:2×V100 decode 40.2(精确)/ 65.2(有损 --speed max);1×V100 23–28(有损 56);16K 预填 634–640。长上下文 decode 下降:128K 12.8,512K 6.0宣称2026-11-04链接
MiniMax-M3.1-Flashllama.cppMac Studio M5 Ultra40作者调优的 llama.cpp(Metal 核与服务端改动,KLD 不变):单会话 DSpark 40–60;128K 预填 817 → 945;8 会话聚合(另计)约 59 → 约 110。tok_s 取下限宣称2026-11-04链接
MiniMax-M3.1-Flash (abliterated, gate/up Q3)ds4 (DwarfStar)Mac Studio M3 Ultra 256GB31贪婪 31,长文 19.5。tok_s 取贪婪 31宣称2026-11-05链接
MiniMax-M3.1-FlashProject Maya4× RTX 3090 24GB + EPYC(8 通道只插 2 条)23decode 23–31(同机 llama.cpp 最佳 6.7);预填 16K 1,120 / 28K 1,525(llama.cpp 219);冷专家经 CPU 约 19 GB/s宣称2026-10-28链接
MiniMax-M3.1-Flash未注明2× DGX Spark23代码 24.7 / 散文 23.0;8K TTFT 17.7s。tok_s 取散文 23.0宣称2026-11-05链接

数字来自各条来源。本项目未复测。各行的模型与设置不同。来源等级:官方 = 项目方或厂商;实测 = 发帖人亲测(引擎或配方作者须公开原始数据和复现步骤);转述 = 二手;宣称 = 预测或无复现细节。