⚡ ローカル推論レシピ

English | 简体中文 | 日本語

MiniMax:ローカル推論速度(tok/s)、出典付き

2026-11-14 時点で、このデータセットには MiniMax のレシピが 9 件あります。投稿者実測は 4 件です。単一デバイス・シングルストリームのテキスト実測の最速は 24 tok/s(MiniMax-M3.1-Flash、エンジン Project Maya、RTX 5090 32GB + 92GiB RAM、実測、2026-11-03、出典)。日付のあるエントリは 9 件(2026-10-25〜2026-11-05)。

エクスプローラーで絞り込む →

モデルエンジンハードウェアtok/s指標出典レベル日付出典
MiniMax-M3.1-FlashSGLang4× DGX Spark (TP4, switchless RoCE ring)59SGLang TP4 / nnodes=4, NCCL 2.30.7 Ring, fp8 KV: single-stream decode 59.0 (TTFT 0.183 s); prefill 32K 1,121 / 266K 1,248; aggregate (separate) 6 concurrent 122.9. Recipe from the knapcio SGLang profile実測2026-10-25リンク
MiniMax-M3.1-FlashNVIDIA Flare4× DGX Spark45C1 45; aggregate (separate) C2 61 / C4 75. The author says Flare is not fully optimized yet実測2026-10-27リンク
MiniMax-M3.1-FlashProject MayaRTX 5090 32GB + 92GiB RAM24Maya 1.1.50 default install, median of 2 runs of 512 tokens, thinking off: decode 24.0 (code 24.4 / prose 23.6); 18.7 with a 249K prompt. TTFT 36.6 s at 16K, 465.8 s at 128K実測2026-11-03リンク
MiniMax-M3.1-FlashvLLM2× DGX Spark21.6Code 21.6 (2.15bpw gives 29.1); IFEval 74.5% vs 60.5%; decode stays flat to 146K実測2026-10-28リンク
MiniMax-M3.1-FlashStrata (syoyo fork)2× Tesla V100 32GB + 181GB RAM40.2syoyo Strata fork: 2× V100 decode 40.2 (exact) / 65.2 (lossy --speed max); 1× V100 23–28 (lossy 56); prefill 634–640 at 16K. Decode falls at long context: 12.8 at 128K, 6.0 at 512K主張2026-11-04リンク
MiniMax-M3.1-Flashllama.cppMac Studio M5 Ultra40llama.cpp tuned by the author (Metal kernel and server changes, KLD unchanged): single session with DSpark 40–60; prefill at 128K 817 → 945; 8-session aggregate (separate) about 59 → about 110. tok_s uses the low end主張2026-11-04リンク
MiniMax-M3.1-Flash (abliterated, gate/up Q3)ds4 (DwarfStar)Mac Studio M3 Ultra 256GB31Greedy 31, long text 19.5. tok_s uses greedy 31主張2026-11-05リンク
MiniMax-M3.1-FlashProject Maya4× RTX 3090 24GB + EPYC (2 of 8 memory channels filled)23Decode 23–31 (best llama.cpp on the same machine 6.7); prefill 16K 1,120 / 28K 1,525 (llama.cpp 219); cold experts through the CPU at about 19 GB/s主張2026-10-28リンク
MiniMax-M3.1-Flash未指定2× DGX Spark23Code 24.7 / prose 23.0; TTFT at 8K 17.7s. tok_s uses prose 23.0主張2026-11-05リンク

数値は各出典のものです。本プロジェクトでは再計測していません。行ごとにモデルと設定が異なります。出典レベル:公式 = プロジェクトまたはベンダー、実測 = 投稿者が実行(エンジンまたはレシピの作者は生データと再現手順も公開する)、伝聞 = 二次情報、主張 = 予測または再現手順なし。