⚡ ローカル推論レシピ

English | 简体中文 | 日本語

Mistral:ローカル推論速度(tok/s)、出典付き

2026-11-14 時点で、このデータセットには Mistral のレシピが 6 件あります。投稿者実測は 1 件です。単一デバイス・シングルストリームのテキスト実測の最速は 23.7 tok/s(Mistral Large 4、エンジン llama.cpp、Mac Studio M5 Ultra 256GB、実測、2026-11-04、出典)。日付のあるエントリは 6 件(2026-10-15〜2026-11-12)。

エクスプローラーで絞り込む →

モデルエンジンハードウェアtok/s指標出典レベル日付出典
Mistral Large 4llama.cppMac Studio M5 Ultra 256GB23.7llama.cpp b12020, median of 2 runs of 512 tokens: decode 23.7 (code 22.1 / prose 25.2). TTFT 9.1 s at 2K / 49.2 s at 8K / 242.3 s at 32K. 1T model, open weights since 10-29実測2026-11-04リンク
Mistral Large 4 (1T-A52B)gr84× DGX Spark, QSFP ring (no switch required)30gr8 @069ec213 + 29 patches in patches/gr8 (commit stated in docs/PATCHES.md). Recipe README table: headline is single-request prose decode 30; code edit 35–40 and new code 31–34 are separate. 20.0 after a 24K prompt. Configured 65,536 (prompt and reply together; one pool for concurrent requests). Two/four-request totals 30 / 39 are not single-stream; with eight requests, four run and four wait, and the total stays 39. tools/bench.py, three fresh starts, recipe-author first-hand table, but with no per-run raw data, so this is a claim. In-window post https://x.com/GrubbyChicken/status/2120597958374912408主張2026-11-12リンク
Mistral Medium 3.5 128BMLX2× Mac Studio M5 Ultra 512GB (tensor)13.69decode 13.69 tok/s (Table 3, ~8K ctx, 128 gen)公式2026-10-15リンク
Mistral Medium 3.5 128BMLXMac Studio M5 Ultra 512GB7.7decode 7.7 tok/s (Table 3, ~8K ctx, 128 gen)公式2026-10-15リンク
Mistral Medium 3.5 128BMLXMac Studio M3 Ultra 512GB4.95decode 4.95 tok/s (Table 3, ~8K ctx, 128 gen)公式2026-10-15リンク
Mistral Large 4 (1T, A52B)MLX2× Mac Studio M3 Ultra (distributed)MLX-VLM distributed inference: 20 with a batch of 3 (no single-stream figure given)主張2026-11-03リンク

数値は各出典のものです。本プロジェクトでは再計測していません。行ごとにモデルと設定が異なります。出典レベル:公式 = プロジェクトまたはベンダー、実測 = 投稿者が実行(エンジンまたはレシピの作者は生データと再現手順も公開する)、伝聞 = 二次情報、主張 = 予測または再現手順なし。