Apple M5 Pro / M5 Max 相关配置:本地推理速度(tok/s),均有出处
截至 2026-11-14,本数据集中 Apple M5 Pro / M5 Max 有 59 条配方,其中发帖人实测 16 条。单机单流文字最快实测:157 tok/s,模型 Ornith-1.5-122B,引擎 Splash(Apple M5 Max 128GB(机型未注明);实测;2026-10-21;来源)。其中 44 条有日期,从 2026-05-03 到 2026-11-11。
| 模型 | 引擎 | 硬件 | tok/s | 指标 | 来源等级 | 日期 | 来源 |
|---|---|---|---|---|---|---|---|
| Ornith-1.5-122B | Splash | Apple M5 Max 128GB(机型未注明) | 157 | DFlash2 投机解码,单流、贪心、思考关,3 次中位:计数 232 / 代码 157 / 散文 81;prefill 约 1,700(6K 提示);HumanEval-40 36/40;加载约 17 s | 实测 | 2026-10-21 | 链接 |
| Recursive Flint 40B-A2.5B | Ollama | Mac mini M5 Pro 64GB | 115.34 | 短提示 115.34(截图:输出 1,075 token / 9.32 s);第 2 帖长任务:20K token 代码库读入 11 s,写代码 87,新功能通过 40/40 测试;模型思考很长,部分运行先用 20K+ token 推理 | 实测 | 2026-10-21 | 链接 |
| Qwen3.8-27B | oMLX | MacBook Pro M5 Max 48GB | 110.2 | oMLX 0.7.2,代码上下文,每格生成 128 token:tg pp4K 93.8 / pp16K 189.4 / pp64K 110.2(取三格中位数 110.2;标题的 189 只是 16K 那一格);聚合(另计)2× 413.7 / 4× 407.0 | 实测 | 2026-10-25 | 链接 |
| Qwen3.8-27B + DFlash2 | inferd | Mac Studio M5 Max 128GB | 93.9 | 11-09 窗口补录(当日漏收)。inferd 0.4.1 macos27 预构建(BUILD-INFO 4ad756ad)。conc.py followup,greedy,thinking off:16K 上下文负载、N=1 单流 decode 93.9 作主值(端到端 90.4;推文取整为 90)。N=4/8/16 多路合计 221.0/266.0/314.7,不作单流主值。配置 max_ctx=147456。release_gate PASS;agents_at_once 8×4K 与 16×16K 均 PASS。原始 jsonl 公开于 issue。同步 X:x.com/yossy_lexiq/status/2119679429500973444。 | 实测 | 2026-11-09 | 链接 |
| Qwen3.8-27B | TensorFold | MacBook M5 Pro 64GB | 89.9 | 89.9 tok/s(约 1.9× mlx-serve、2.4× oMLX) | 实测 | 2026-09-27 | 链接 |
| Qwen3.8-27B | Strim | Apple M5 Max 64GB(macOS 27.0.1) | 75.34 | 4K decode 75.34;同机 rapid-mlx 50.12、mlx-vlm 32.69、mlx-lm 30.11、oMLX 33.53。每格为 2 次运行的中位数。各引擎的 MTP 和前缀缓存设置不同 | 实测 | 2026-10-30 | 链接 |
| Qwen3.8-27B | Ollama | Mac Studio M5 Max 64GB | 60 | 约 60 tok/s(视任务 40–70) | 实测 | 链接 | |
| Qwen3.8-Flash-Next Coder | llama.cpp | Mac Studio M5 Max 64GB | 51 | 51 tok/s 写;~950 tok/s 读(98K 时 918) | 实测 | 链接 | |
| Nanbeige4.3-33B | Kapitsa 0.2.19 + KFlash | MacBook Pro M5 Max 128GB(macOS 26.4,接电,高功率模式) | 36.6 | 写代码 decode 36.6;按上下文 512 / 1K / 2K / 4K / 8K / 16K / 32K:decode 34.9 / 32.6 / 31.0 / 30.3 / 26.1 / 25.6 / 22.8;预填 693 → 520;29.5K 提示首 token 69.4 秒;后续轮首 token 约 140 ms;29.5K 时峰值内存 28GB | 实测 | 2026-10-27 | 链接 |
| Qwen3.8-27B | Ollama | Mac Studio M5 Max 36GB | 36 | Ollama 0.40.13:Q4_K_M 约 19;nvfp4 MLX 35–46(与 Cline 长时间使用时内存一直增长);Q4_K_M + MTP 36–38(14K 上下文时 28)。tok_s 取 Q4_K_M + MTP | 实测 | 2026-10-31 | 链接 |
| Qwen3.8-Flash-Next | Strata | MacBook Pro M5 Pro 64GB(专家从 SSD 流式读取) | 35.5 | Strata v0.2.6 源码 + #5167,--mmap-experts,思考关,3 次中位:手动加 MTP(--spec 2)chat 35.5 / agent 28.6;setup 默认(suffix drafter)25.7 / 22.5;DFlash2 24.7。预填 4K / 16K 约 700 | 实测 | 2026-11-04 | 链接 |
| Nanbeige4.3-33B | MLX | MacBook Pro M5 Max 128GB(macOS 26.4,接电,高功率模式) | 27.1 | 写代码 decode 27.1;按上下文 512 → 32K:decode 28.8 → 20.8;预填 757 → 546(三个引擎里最快);29.5K 提示首 token 59.4 秒;后续轮首 token 约 290–880 ms;29.5K 时峰值内存 52GB | 实测 | 2026-10-27 | 链接 |
| Nanbeige4.3-33B | llama.cpp | MacBook Pro M5 Max 128GB(macOS 26.4,接电,高功率模式) | 24.9 | 写代码 decode 24.9;按上下文 512 → 32K:decode 27.3 → 16.7;预填 691 → 349;29.5K 提示首 token 89.7 秒;后续轮首 token 约 220–410 ms;29.5K 时峰值内存 36GB | 实测 | 2026-10-27 | 链接 |
| Nanbeige4.3-33B | MLX | Mac mini M5 Pro 64GB | 14.4 | 512 ctx 14.4,4k 13.9,16k 11.7,32k 9.9;预填 311–350 | 实测 | 2026-10-26 | 链接 |
| DeepSeek-V4.1-Flash | Strata | MacBook Pro M5 Max(40 核 GPU)128GB | 14.3 | 经服务器(greedy,思考关)短回答和代码 14.3–19.0,3,000 token prompt 预填 268;默认设置只有 5.0–6.5。引擎 CLI:默认 6.66,DS4_BUSY_CAP=2000 为 18.05 | 实测 | 2026-10-31 | 链接 |
| FastH3(4 步) | MLX | MacBook Pro M5 Max 128GB | 1024×576×15 s:43.7 → 13.3 分钟 | 实测 | 链接 | ||
| Qwen3.6-35B-A3B | Kapitsa | MacBook Pro 16 M5 Max 128GB | 346 | Kapitsa 0.2.26,3 次中位:512 token 代码回答 decode 346,4K 预填 6,036;32K 时 decode 175。同帖:Clover 35B 304,Flint 40B 265,Nemotron Bolt 74B 154,Qwen3.8 27B 143 | 宣称 | 2026-11-01 | 链接 |
| Qwen3.6-35B-A3B | IronMLX | MacBook Pro M5 Max 128GB(40 核 GPU) | 267.4 | IronMLX v0.2.0,B1:短提示 267.4(Splash 1.5.0 all 224.9,auto 250.0;oMLX 0.7.3rc1 234.6);30K 提示 189.3。Qwen3.8-27B 短提示 89.4,30K 66.5 | 宣称 | 2026-11-02 | 链接 |
| Qwen3.6-35B-A3B | Splash | Mac M5 Pro 48GB | 210 | 210 tok/s;143 @32K;32K 缓存后首 token 123ms(oMLX 816ms) | 转述 | 链接 | |
| Qwen3.6-35B-A3B | oMLX | Mac M5 Max | 205 | 156 → 205 tok/s(+31%) | 官方 | 链接 | |
| LFM2.5-24B-A2B | llama.cpp | Apple M5 Max | 184 | Liquid AI 官方:Apple M5 Max 解码 184 tok/s(Pipette 设备测试,llama.cpp,Q4_K_M,4K token 输入) | 官方 | 2026-10-12 | 链接 |
| Recursive Flint 40B-A2.5B | Kapitsa | MacBook Pro M5 Pro 48GB | 149 | prefill / decode:Kapitsa 2691 / 149;llama.cpp b11804 2072 / 92;rec 0.1.0 2138 / 145(均为 Kapitsa 方测量) | 官方 | 2026-10-23 | 链接 |
| Qwen3.8-27B | Splash | Mac M5 Max | 144 | 144 tok/s(一个月前 DFlash 2 为 70) | 官方 | 链接 | |
| Nemotron-3.5-Lightning-30B-A3B | 未注明 | MacBook Pro M5 Max 128GB | 109 | 109(截图)。帖文没写引擎 | 宣称 | 2026-11-04 | 链接 |
| Qwen3.8-Flash-Next | Kapitsa | MacBook Pro 16 M5 Max 128GB | 108 | Kapitsa 0.2.26,3 次中位:decode 108,4K 预填 1,701;32K 时 decode 78。48GB MacBook Pro 用 SSD 卸载专家可跑 61 | 宣称 | 2026-11-01 | 链接 |
| Qwen3.8-Flash-Next | Splash | Mac M5 Pro 20C GPU 64GB(机型未注明) | 95 | Splash 1.4.0 发布说明 / README:短提示解码 95 tok/s(中位每 token 10.57 ms);32K 提示读入 1,312 tok/s(34,980 token / 首 token 26.66 s);重放提示首 token 171 ms(16/16 命中缓存);4 路并发合计 171 tok/s。PR #521 对比:同 GGUF、同一台 Mac、同提示,Strata 解码 71.4 tok/s,读入 974 tok/s,重放 32K 首 token 36.3 s(无缓存命中),4 路合计 69.9 tok/s。Strata 上下文设为 64K,Splash 未写上下文设置,所以对比不完全对等。发布推文写“最高 120 tok/s”,发布说明和 README 里没有 120 的数据,tok_s 取 95 | 官方 | 2026-10-20 | 链接 |
| Qwen3.8-Flash-Next | MLX | Mac M5 Max 128GB | 90 | 90 tok/s(另一帖 73.5 @262K) | 转述 | 链接 | |
| Qwen3.8-27B-MTPLX-Optimized-Speed | MTPLX | MacBook Pro M5 Max | 87.6 | 87.6 tok/s 生成;3K token 聊天回答 64.3 | 宣称 | 2026-08-14 | 链接 |
| Qwen3.8-Flash-Next-oQ4e-mix6-mtp | oMLX | MacBook M5 Max 128GB | 84.4 | 84.4 tok/s 生成;2377.1 tok/s 读入 | 宣称 | 2026-10-10 | 链接 |
| Gemma 4 26B-A4B | oMLX | MacBook / Mac Studio M5 Max 128GB | 83 | 同帖 oMLX 0.7.0:约 83–86 tok/s。方法同 x-283。tok_s 取下限 83 | 宣称 | 2026-11-06 | 链接 |
| Underdog-27B-1.0 | Splash | MacBook M5 Max 40C 48GB | 80.6 | 80.6 tok/s 生成 | 宣称 | 2026-09-30 | 链接 |
| Qwen3.8-27B | DFlash | Mac M5 Pro 48GB | 74 | 74 tok/s 短提示;54 @32K;4 agent 合计 3.9×(oMLX 38 / Ollama 24) | 官方 | 链接 | |
| Qwen3.8-Flash-Next-MTPLX-Optimized-Speed | MTPLX | MacBook Pro M5 Max 128GB | 73.5 | 73.5 tok/s 生成;同任务关 MTP 43.8;200K token OpenCode 回合(预热,两次均值)50.3;2.12.0 下 65K 提示后解码 63.5,预填 1,094 | 宣称 | 2026-08-28 | 链接 |
| Qwen3.8-Flash-Next | oMLX | MacBook Pro M5 Max 128GB | 72 | oMLX 0.7.4.dev1:decode 72,预填 2,200 | 宣称 | 2026-11-05 | 链接 |
| Qwen3.8-27B | TensorFold | Mac M5 Max 128GB | 69 | TensorFold 0.3.4.1(经 LLMKube Metal agent 服务;作者注当前为 1.2.5,本行不代表 1.2.5)。单流散文 essay decode 69(引擎 per-request 统计)。30 次长输出加权 129(含代码/YAML)另标不作主值;关草稿 24。分负载:改写 Go 文件 231(峰 359)、K8s YAML 160、Go 包 144、代码审查 104。输出长 2.7K–8.2K token。上下文设置未写,不填。无公开原始日志,降为宣称。机型只写 M5 Max 128GB,未区分笔电或台式。 | 宣称 | 2026-11-10 | 链接 |
| Bonsai 27B 1-bit | llama.cpp (PrismML fork) | MacBook M5 Max | 66.4 | 66.4 tok/s 生成;874 tok/s 读入 | 宣称 | 2026-07-04 | 链接 |
| Qwen3.8-27B + tencent/Qwen3.8-27B-DSpine-b16 | dspine-hybrid-mlx | MacBook Pro M5 Max 128GB | 64.7 | dspine-hybrid-mlx v0.2.0(8b3fad6bc)。thinking on、512 新 token、10 题:4-bit 目标 64.7(对照 plain mlx-lm 31.9);thinking off 68.8 / --adaptive 71.0。长提示测到 33K(峰值内存 29GB)时 57.3。README 表 + pip 安装与命令;引擎作者实测。上下文上限未写死,不填默认。 | 宣称 | 2026-11-09 | 链接 |
| Ternary-Bonsai-2-27B-MTPLX-Optimized-Speed | MTPLX | MacBook Pro M5 Max 128GB | 64.4 | 64.4 tok/s 生成;16K 提示后 57.1 | 宣称 | 2026-09-22 | 链接 |
| Qwen3.6-27B-MTPLX-Optimized-Speed | MTPLX | MacBook M5 Max | 63.056 | 63.056 tok/s 生成 | 宣称 | 2026-05-03 | 链接 |
| TwIL-8B | MLX | Mac mini M5 Pro 64GB | 53.8 | 4bit:512 上下文 53.8,32K 26.6,128K 9.2。bf16:512 16.7,32K 12.6,128K 6.6。3 次中位数,温度 0,256 输出(x.com/pratikg/status/2118150135683449163)。tok_s 取 4bit@512 的 53.8 | 宣称 | 2026-11-05 | 链接 |
| Qwen3.8-27B-MTPLX-Optimized-Quality | MTPLX | MacBook Pro M5 Max | 48.3 | 48.3 tok/s 生成 | 宣称 | 2026-08-14 | 链接 |
| Ternary Bonsai 2 27B | llama.cpp | MacBook M5 Max | 47 | 47.0 tok/s 生成;765 tok/s 读入 | 宣称 | 2026-09-16 | 链接 |
| Allosaurus-v0.1-125B-A6B-JANGH2 | Osaurus | Apple M5 Max(内存未写,卡称面向 48GB Mac) | 46.5 | 46.5 tok/s 生成;902.0 tok/s 读入 | 宣称 | 2026-10-03 | 链接 |
| Bonsai 27B 1-bit | llama.cpp (PrismML fork) | MacBook M5 Pro | 44.2 | 44.2 tok/s 生成;421 tok/s 读入 | 宣称 | 2026-07-04 | 链接 |
| Ternary-Bonsai-27B | llama.cpp (PrismML fork) | MacBook M5 Max | 44 | 44.0 tok/s 生成;830 tok/s 读入 | 宣称 | 2026-07-04 | 链接 |
| Qwen3.8-Flash-Next | sushi | MacBook M5 Pro 64GB | 44 | Sushi 1.6.0,MTP,上下文 128k。13.4 小时无人值守智能体跑(16 任务、2,292 请求)平均 decode 44,正文写明是 decode 而非端到端。提示缓存命中 95.9%。有跑分页,但主值是长程平均值,故为宣称。 | 宣称 | 2026-11-11 | 链接 |
| DeepSeek-V4.1-Flash-streaming-repack-exl3-3.0bpw | mlx-serve | MacBook M5 Max 128GB | 39.9 | 39.9 tok/s 生成;81.3 tok/s 读入;256K 提示解码 27.1,预填 456.3,首 token 574.5 秒;约 1M(1,047,488)提示解码 11.1,预填 262.6,首 token 3,988.9 秒 | 宣称 | 2026-10-06 | 链接 |
| Qwen3.8-Flash-Next | llama.cpp | MacBook M5 Max 64GB | 36 | 36.0 tok/s 生成 | 宣称 | 2026-08-26 | 链接 |
| Underdog-27B-1.0 | MLX | MacBook M5 Max 40C 48GB | 33.1 | 33.1 tok/s 生成 | 宣称 | 2026-09-30 | 链接 |
| Ternary Bonsai 2 27B | llama.cpp (PrismML fork) | MacBook M5 Pro | 28.1 | 28.1 tok/s 生成;387 tok/s 读入 | 宣称 | 2026-09-16 | 链接 |
| Ternary-Bonsai-27B | llama.cpp (PrismML fork) | MacBook M5 Pro | 26.2 | 26.2 tok/s 生成;393 tok/s 读入 | 宣称 | 2026-07-04 | 链接 |
| Qwen3.8-27B | oMLX | MacBook / Mac Studio M5 Max 128GB | 18 | oMLX 0.7.0:约 18 tok/s。每模型 3 次,约 1.2K/4.5K in、256 out,暖机、无 prompt-cache 命中;测试时暂停 Windows VM。tok_s 取约 18 | 宣称 | 2026-11-06 | 链接 |
| Qwen3.8-27B 4-bit | oMLX | Mac M5 Pro 48GB(机型未注明) | 14.2 | 14.2 tok/s | 转述 | 链接 | |
| Qwen-Image 2.1 | mflux | Mac M5 Max | ~78 s / 1024²(40 步) | 转述 | 链接 | ||
| DeepSeek-V4.1-Flash | MLX | M3 Ultra 512GB / M5 Max 128GB | ~14.6 / 15(SSD 流式)、25(RDMA 张量并行) | 转述 | 链接 | ||
| Qwen3.8-Flash-Next | oMLX | M3 Ultra / M5 Max | M3U 32K prefill 396 → 636 tok/s;M5 Max 8 请求首 token 7.41 → 5.75 s;oMLX 0.7.4.dev1 Prefill Accelerator(M3 Ultra 512GB + M5 Max 128GB,64K prompt):预填 1,309 → 3,666;decode 不变(x.com/jundotkim/status/2117923876642656592) | 官方 | 链接 | ||
| Qwen3.8-27B | MLX | Mac Studio M5 Max 64GB | 平均 75.6 vs 33.9 tok/s(MTP 支持不同) | 转述 | 链接 | ||
| Qwen3.8-27B | MTPLX | Mac Studio M5 Max | 58.7 持续 / 73 峰值 | 转述 | 链接 | ||
| Qwen3.8-27B | DFlash | Mac M5 Max | 代码 151 vs 32–33 tok/s | 转述 | 链接 |
数字来自各条来源。本项目未复测。各行的模型与设置不同。来源等级:官方 = 项目方或厂商;实测 = 发帖人亲测(引擎或配方作者须公开原始数据和复现步骤);转述 = 二手;宣称 = 预测或无复现细节。