Mistral:ローカル推論速度(tok/s)、出典付き
2026-11-14 時点で、このデータセットには Mistral のレシピが 6 件あります。投稿者実測は 1 件です。単一デバイス・シングルストリームのテキスト実測の最速は 23.7 tok/s(Mistral Large 4、エンジン llama.cpp、Mac Studio M5 Ultra 256GB、実測、2026-11-04、出典)。日付のあるエントリは 6 件(2026-10-15〜2026-11-12)。
| モデル | エンジン | ハードウェア | tok/s | 指標 | 出典レベル | 日付 | 出典 |
|---|---|---|---|---|---|---|---|
| Mistral Large 4 | llama.cpp | Mac Studio M5 Ultra 256GB | 23.7 | llama.cpp b12020, median of 2 runs of 512 tokens: decode 23.7 (code 22.1 / prose 25.2). TTFT 9.1 s at 2K / 49.2 s at 8K / 242.3 s at 32K. 1T model, open weights since 10-29 | 実測 | 2026-11-04 | リンク |
| Mistral Large 4 (1T-A52B) | gr8 | 4× DGX Spark, QSFP ring (no switch required) | 30 | gr8 @069ec213 + 29 patches in patches/gr8 (commit stated in docs/PATCHES.md). Recipe README table: headline is single-request prose decode 30; code edit 35–40 and new code 31–34 are separate. 20.0 after a 24K prompt. Configured 65,536 (prompt and reply together; one pool for concurrent requests). Two/four-request totals 30 / 39 are not single-stream; with eight requests, four run and four wait, and the total stays 39. tools/bench.py, three fresh starts, recipe-author first-hand table, but with no per-run raw data, so this is a claim. In-window post https://x.com/GrubbyChicken/status/2120597958374912408 | 主張 | 2026-11-12 | リンク |
| Mistral Medium 3.5 128B | MLX | 2× Mac Studio M5 Ultra 512GB (tensor) | 13.69 | decode 13.69 tok/s (Table 3, ~8K ctx, 128 gen) | 公式 | 2026-10-15 | リンク |
| Mistral Medium 3.5 128B | MLX | Mac Studio M5 Ultra 512GB | 7.7 | decode 7.7 tok/s (Table 3, ~8K ctx, 128 gen) | 公式 | 2026-10-15 | リンク |
| Mistral Medium 3.5 128B | MLX | Mac Studio M3 Ultra 512GB | 4.95 | decode 4.95 tok/s (Table 3, ~8K ctx, 128 gen) | 公式 | 2026-10-15 | リンク |
| Mistral Large 4 (1T, A52B) | MLX | 2× Mac Studio M3 Ultra (distributed) | MLX-VLM distributed inference: 20 with a batch of 3 (no single-stream figure given) | 主張 | 2026-11-03 | リンク |
数値は各出典のものです。本プロジェクトでは再計測していません。行ごとにモデルと設定が異なります。出典レベル:公式 = プロジェクトまたはベンダー、実測 = 投稿者が実行(エンジンまたはレシピの作者は生データと再現手順も公開する)、伝聞 = 二次情報、主張 = 予測または再現手順なし。