Mistral:本地推理速度(tok/s),均有出处
截至 2026-11-14,本数据集中 Mistral 有 6 条配方,其中发帖人实测 1 条。单机单流文字最快实测:23.7 tok/s,模型 Mistral Large 4,引擎 llama.cpp(Mac Studio M5 Ultra 256GB;实测;2026-11-04;来源)。其中 6 条有日期,从 2026-10-15 到 2026-11-12。
| 模型 | 引擎 | 硬件 | tok/s | 指标 | 来源等级 | 日期 | 来源 |
|---|---|---|---|---|---|---|---|
| Mistral Large 4 | llama.cpp | Mac Studio M5 Ultra 256GB | 23.7 | llama.cpp b12020,512 token 2 次中位:decode 23.7(代码 22.1 / 散文 25.2)。首 token 2K 9.1 s / 8K 49.2 s / 32K 242.3 s。1T 模型,10-29 开放权重 | 实测 | 2026-11-04 | 链接 |
| Mistral Large 4 (1T-A52B) | gr8 | 4× DGX Spark,QSFP 环网(无需交换机) | 30 | gr8 @069ec213 + patches/gr8 的 29 个补丁(docs/PATCHES.md 写明提交)。配方 README 表,单请求 prose decode 30 作主值;code edit 35–40、new code 31–34 另标。24K 提示后 20.0。配置 65,536(提示与回复合计,多请求共用一个池)。2/4 请求合计 30 / 39,不作单流主值;8 个请求时 4 个运行、4 个等待,合计仍为 39。tools/bench.py,三次新启动,配方作者第一手表,但没有逐次原始数据,记为宣称。窗内帖 https://x.com/GrubbyChicken/status/2120597958374912408 | 宣称 | 2026-11-12 | 链接 |
| Mistral Medium 3.5 128B | MLX | 2× Mac Studio M5 Ultra 512GB(tensor) | 13.69 | 解码 13.69 tok/s(Table 3,~8K ctx,128 gen) | 官方 | 2026-10-15 | 链接 |
| Mistral Medium 3.5 128B | MLX | Mac Studio M5 Ultra 512GB | 7.7 | 解码 7.7 tok/s(Table 3,~8K ctx,128 gen) | 官方 | 2026-10-15 | 链接 |
| Mistral Medium 3.5 128B | MLX | Mac Studio M3 Ultra 512GB | 4.95 | 解码 4.95 tok/s(Table 3,~8K ctx,128 gen) | 官方 | 2026-10-15 | 链接 |
| Mistral Large 4(1T,A52B) | MLX | 2× Mac Studio M3 Ultra(分布式) | MLX-VLM 分布式推理,batch 3 时 20(单流未给出) | 宣称 | 2026-11-03 | 链接 |
数字来自各条来源。本项目未复测。各行的模型与设置不同。来源等级:官方 = 项目方或厂商;实测 = 发帖人亲测(引擎或配方作者须公开原始数据和复现步骤);转述 = 二手;宣称 = 预测或无复现细节。