⚡ 本地推理配方

English | 简体中文 | 日本語

Mistral:本地推理速度(tok/s),均有出处

截至 2026-11-14,本数据集中 Mistral 有 6 条配方,其中发帖人实测 1 条。单机单流文字最快实测:23.7 tok/s,模型 Mistral Large 4,引擎 llama.cpp(Mac Studio M5 Ultra 256GB;实测;2026-11-04;来源)。其中 6 条有日期,从 2026-10-15 到 2026-11-12。

在配方库中筛选这些 →

模型引擎硬件tok/s指标来源等级日期来源
Mistral Large 4llama.cppMac Studio M5 Ultra 256GB23.7llama.cpp b12020,512 token 2 次中位:decode 23.7(代码 22.1 / 散文 25.2)。首 token 2K 9.1 s / 8K 49.2 s / 32K 242.3 s。1T 模型,10-29 开放权重实测2026-11-04链接
Mistral Large 4 (1T-A52B)gr84× DGX Spark,QSFP 环网(无需交换机)30gr8 @069ec213 + patches/gr8 的 29 个补丁(docs/PATCHES.md 写明提交)。配方 README 表,单请求 prose decode 30 作主值;code edit 35–40、new code 31–34 另标。24K 提示后 20.0。配置 65,536(提示与回复合计,多请求共用一个池)。2/4 请求合计 30 / 39,不作单流主值;8 个请求时 4 个运行、4 个等待,合计仍为 39。tools/bench.py,三次新启动,配方作者第一手表,但没有逐次原始数据,记为宣称。窗内帖 https://x.com/GrubbyChicken/status/2120597958374912408宣称2026-11-12链接
Mistral Medium 3.5 128BMLX2× Mac Studio M5 Ultra 512GB(tensor)13.69解码 13.69 tok/s(Table 3,~8K ctx,128 gen)官方2026-10-15链接
Mistral Medium 3.5 128BMLXMac Studio M5 Ultra 512GB7.7解码 7.7 tok/s(Table 3,~8K ctx,128 gen)官方2026-10-15链接
Mistral Medium 3.5 128BMLXMac Studio M3 Ultra 512GB4.95解码 4.95 tok/s(Table 3,~8K ctx,128 gen)官方2026-10-15链接
Mistral Large 4(1T,A52B)MLX2× Mac Studio M3 Ultra(分布式)MLX-VLM 分布式推理,batch 3 时 20(单流未给出)宣称2026-11-03链接

数字来自各条来源。本项目未复测。各行的模型与设置不同。来源等级:官方 = 项目方或厂商;实测 = 发帖人亲测(引擎或配方作者须公开原始数据和复现步骤);转述 = 二手;宣称 = 预测或无复现细节。