⚡ 本地推理配方

English | 简体中文 | 日本語

Apple M5 Pro / M5 Max 相关配置:本地推理速度(tok/s),均有出处

截至 2026-11-14,本数据集中 Apple M5 Pro / M5 Max 有 59 条配方,其中发帖人实测 16 条。单机单流文字最快实测:157 tok/s,模型 Ornith-1.5-122B,引擎 Splash(Apple M5 Max 128GB(机型未注明);实测;2026-10-21;来源)。其中 44 条有日期,从 2026-05-03 到 2026-11-11。

在配方库中筛选这些 →

模型引擎硬件tok/s指标来源等级日期来源
Ornith-1.5-122BSplashApple M5 Max 128GB(机型未注明)157DFlash2 投机解码,单流、贪心、思考关,3 次中位:计数 232 / 代码 157 / 散文 81;prefill 约 1,700(6K 提示);HumanEval-40 36/40;加载约 17 s实测2026-10-21链接
Recursive Flint 40B-A2.5BOllamaMac mini M5 Pro 64GB115.34短提示 115.34(截图:输出 1,075 token / 9.32 s);第 2 帖长任务:20K token 代码库读入 11 s,写代码 87,新功能通过 40/40 测试;模型思考很长,部分运行先用 20K+ token 推理实测2026-10-21链接
Qwen3.8-27BoMLXMacBook Pro M5 Max 48GB110.2oMLX 0.7.2,代码上下文,每格生成 128 token:tg pp4K 93.8 / pp16K 189.4 / pp64K 110.2(取三格中位数 110.2;标题的 189 只是 16K 那一格);聚合(另计)2× 413.7 / 4× 407.0实测2026-10-25链接
Qwen3.8-27B + DFlash2inferdMac Studio M5 Max 128GB93.911-09 窗口补录(当日漏收)。inferd 0.4.1 macos27 预构建(BUILD-INFO 4ad756ad)。conc.py followup,greedy,thinking off:16K 上下文负载、N=1 单流 decode 93.9 作主值(端到端 90.4;推文取整为 90)。N=4/8/16 多路合计 221.0/266.0/314.7,不作单流主值。配置 max_ctx=147456。release_gate PASS;agents_at_once 8×4K 与 16×16K 均 PASS。原始 jsonl 公开于 issue。同步 X:x.com/yossy_lexiq/status/2119679429500973444。实测2026-11-09链接
Qwen3.8-27BTensorFoldMacBook M5 Pro 64GB89.989.9 tok/s(约 1.9× mlx-serve、2.4× oMLX)实测2026-09-27链接
Qwen3.8-27BStrimApple M5 Max 64GB(macOS 27.0.1)75.344K decode 75.34;同机 rapid-mlx 50.12、mlx-vlm 32.69、mlx-lm 30.11、oMLX 33.53。每格为 2 次运行的中位数。各引擎的 MTP 和前缀缓存设置不同实测2026-10-30链接
Qwen3.8-27BOllamaMac Studio M5 Max 64GB60约 60 tok/s(视任务 40–70)实测链接
Qwen3.8-Flash-Next Coderllama.cppMac Studio M5 Max 64GB5151 tok/s 写;~950 tok/s 读(98K 时 918)实测链接
Nanbeige4.3-33BKapitsa 0.2.19 + KFlashMacBook Pro M5 Max 128GB(macOS 26.4,接电,高功率模式)36.6写代码 decode 36.6;按上下文 512 / 1K / 2K / 4K / 8K / 16K / 32K:decode 34.9 / 32.6 / 31.0 / 30.3 / 26.1 / 25.6 / 22.8;预填 693 → 520;29.5K 提示首 token 69.4 秒;后续轮首 token 约 140 ms;29.5K 时峰值内存 28GB实测2026-10-27链接
Qwen3.8-27BOllamaMac Studio M5 Max 36GB36Ollama 0.40.13:Q4_K_M 约 19;nvfp4 MLX 35–46(与 Cline 长时间使用时内存一直增长);Q4_K_M + MTP 36–38(14K 上下文时 28)。tok_s 取 Q4_K_M + MTP实测2026-10-31链接
Qwen3.8-Flash-NextStrataMacBook Pro M5 Pro 64GB(专家从 SSD 流式读取)35.5Strata v0.2.6 源码 + #5167,--mmap-experts,思考关,3 次中位:手动加 MTP(--spec 2)chat 35.5 / agent 28.6;setup 默认(suffix drafter)25.7 / 22.5;DFlash2 24.7。预填 4K / 16K 约 700实测2026-11-04链接
Nanbeige4.3-33BMLXMacBook Pro M5 Max 128GB(macOS 26.4,接电,高功率模式)27.1写代码 decode 27.1;按上下文 512 → 32K:decode 28.8 → 20.8;预填 757 → 546(三个引擎里最快);29.5K 提示首 token 59.4 秒;后续轮首 token 约 290–880 ms;29.5K 时峰值内存 52GB实测2026-10-27链接
Nanbeige4.3-33Bllama.cppMacBook Pro M5 Max 128GB(macOS 26.4,接电,高功率模式)24.9写代码 decode 24.9;按上下文 512 → 32K:decode 27.3 → 16.7;预填 691 → 349;29.5K 提示首 token 89.7 秒;后续轮首 token 约 220–410 ms;29.5K 时峰值内存 36GB实测2026-10-27链接
Nanbeige4.3-33BMLXMac mini M5 Pro 64GB14.4512 ctx 14.4,4k 13.9,16k 11.7,32k 9.9;预填 311–350实测2026-10-26链接
DeepSeek-V4.1-FlashStrataMacBook Pro M5 Max(40 核 GPU)128GB14.3经服务器(greedy,思考关)短回答和代码 14.3–19.0,3,000 token prompt 预填 268;默认设置只有 5.0–6.5。引擎 CLI:默认 6.66,DS4_BUSY_CAP=2000 为 18.05实测2026-10-31链接
FastH3(4 步)MLXMacBook Pro M5 Max 128GB1024×576×15 s:43.7 → 13.3 分钟实测链接
Qwen3.6-35B-A3BKapitsaMacBook Pro 16 M5 Max 128GB346Kapitsa 0.2.26,3 次中位:512 token 代码回答 decode 346,4K 预填 6,036;32K 时 decode 175。同帖:Clover 35B 304,Flint 40B 265,Nemotron Bolt 74B 154,Qwen3.8 27B 143宣称2026-11-01链接
Qwen3.6-35B-A3BIronMLXMacBook Pro M5 Max 128GB(40 核 GPU)267.4IronMLX v0.2.0,B1:短提示 267.4(Splash 1.5.0 all 224.9,auto 250.0;oMLX 0.7.3rc1 234.6);30K 提示 189.3。Qwen3.8-27B 短提示 89.4,30K 66.5宣称2026-11-02链接
Qwen3.6-35B-A3BSplashMac M5 Pro 48GB210210 tok/s;143 @32K;32K 缓存后首 token 123ms(oMLX 816ms)转述链接
Qwen3.6-35B-A3BoMLXMac M5 Max205156 → 205 tok/s(+31%)官方链接
LFM2.5-24B-A2Bllama.cppApple M5 Max184Liquid AI 官方:Apple M5 Max 解码 184 tok/s(Pipette 设备测试,llama.cpp,Q4_K_M,4K token 输入)官方2026-10-12链接
Recursive Flint 40B-A2.5BKapitsaMacBook Pro M5 Pro 48GB149prefill / decode:Kapitsa 2691 / 149;llama.cpp b11804 2072 / 92;rec 0.1.0 2138 / 145(均为 Kapitsa 方测量)官方2026-10-23链接
Qwen3.8-27BSplashMac M5 Max144144 tok/s(一个月前 DFlash 2 为 70)官方链接
Nemotron-3.5-Lightning-30B-A3B未注明MacBook Pro M5 Max 128GB109109(截图)。帖文没写引擎宣称2026-11-04链接
Qwen3.8-Flash-NextKapitsaMacBook Pro 16 M5 Max 128GB108Kapitsa 0.2.26,3 次中位:decode 108,4K 预填 1,701;32K 时 decode 78。48GB MacBook Pro 用 SSD 卸载专家可跑 61宣称2026-11-01链接
Qwen3.8-Flash-NextSplashMac M5 Pro 20C GPU 64GB(机型未注明)95Splash 1.4.0 发布说明 / README:短提示解码 95 tok/s(中位每 token 10.57 ms);32K 提示读入 1,312 tok/s(34,980 token / 首 token 26.66 s);重放提示首 token 171 ms(16/16 命中缓存);4 路并发合计 171 tok/s。PR #521 对比:同 GGUF、同一台 Mac、同提示,Strata 解码 71.4 tok/s,读入 974 tok/s,重放 32K 首 token 36.3 s(无缓存命中),4 路合计 69.9 tok/s。Strata 上下文设为 64K,Splash 未写上下文设置,所以对比不完全对等。发布推文写“最高 120 tok/s”,发布说明和 README 里没有 120 的数据,tok_s 取 95官方2026-10-20链接
Qwen3.8-Flash-NextMLXMac M5 Max 128GB9090 tok/s(另一帖 73.5 @262K)转述链接
Qwen3.8-27B-MTPLX-Optimized-SpeedMTPLXMacBook Pro M5 Max87.687.6 tok/s 生成;3K token 聊天回答 64.3宣称2026-08-14链接
Qwen3.8-Flash-Next-oQ4e-mix6-mtpoMLXMacBook M5 Max 128GB84.484.4 tok/s 生成;2377.1 tok/s 读入宣称2026-10-10链接
Gemma 4 26B-A4BoMLXMacBook / Mac Studio M5 Max 128GB83同帖 oMLX 0.7.0:约 83–86 tok/s。方法同 x-283。tok_s 取下限 83宣称2026-11-06链接
Underdog-27B-1.0SplashMacBook M5 Max 40C 48GB80.680.6 tok/s 生成宣称2026-09-30链接
Qwen3.8-27BDFlashMac M5 Pro 48GB7474 tok/s 短提示;54 @32K;4 agent 合计 3.9×(oMLX 38 / Ollama 24)官方链接
Qwen3.8-Flash-Next-MTPLX-Optimized-SpeedMTPLXMacBook Pro M5 Max 128GB73.573.5 tok/s 生成;同任务关 MTP 43.8;200K token OpenCode 回合(预热,两次均值)50.3;2.12.0 下 65K 提示后解码 63.5,预填 1,094宣称2026-08-28链接
Qwen3.8-Flash-NextoMLXMacBook Pro M5 Max 128GB72oMLX 0.7.4.dev1:decode 72,预填 2,200宣称2026-11-05链接
Qwen3.8-27BTensorFoldMac M5 Max 128GB69TensorFold 0.3.4.1(经 LLMKube Metal agent 服务;作者注当前为 1.2.5,本行不代表 1.2.5)。单流散文 essay decode 69(引擎 per-request 统计)。30 次长输出加权 129(含代码/YAML)另标不作主值;关草稿 24。分负载:改写 Go 文件 231(峰 359)、K8s YAML 160、Go 包 144、代码审查 104。输出长 2.7K–8.2K token。上下文设置未写,不填。无公开原始日志,降为宣称。机型只写 M5 Max 128GB,未区分笔电或台式。宣称2026-11-10链接
Bonsai 27B 1-bitllama.cpp (PrismML fork)MacBook M5 Max66.466.4 tok/s 生成;874 tok/s 读入宣称2026-07-04链接
Qwen3.8-27B + tencent/Qwen3.8-27B-DSpine-b16dspine-hybrid-mlxMacBook Pro M5 Max 128GB64.7dspine-hybrid-mlx v0.2.0(8b3fad6bc)。thinking on、512 新 token、10 题:4-bit 目标 64.7(对照 plain mlx-lm 31.9);thinking off 68.8 / --adaptive 71.0。长提示测到 33K(峰值内存 29GB)时 57.3。README 表 + pip 安装与命令;引擎作者实测。上下文上限未写死,不填默认。宣称2026-11-09链接
Ternary-Bonsai-2-27B-MTPLX-Optimized-SpeedMTPLXMacBook Pro M5 Max 128GB64.464.4 tok/s 生成;16K 提示后 57.1宣称2026-09-22链接
Qwen3.6-27B-MTPLX-Optimized-SpeedMTPLXMacBook M5 Max63.05663.056 tok/s 生成宣称2026-05-03链接
TwIL-8BMLXMac mini M5 Pro 64GB53.84bit:512 上下文 53.8,32K 26.6,128K 9.2。bf16:512 16.7,32K 12.6,128K 6.6。3 次中位数,温度 0,256 输出(x.com/pratikg/status/2118150135683449163)。tok_s 取 4bit@512 的 53.8宣称2026-11-05链接
Qwen3.8-27B-MTPLX-Optimized-QualityMTPLXMacBook Pro M5 Max48.348.3 tok/s 生成宣称2026-08-14链接
Ternary Bonsai 2 27Bllama.cppMacBook M5 Max4747.0 tok/s 生成;765 tok/s 读入宣称2026-09-16链接
Allosaurus-v0.1-125B-A6B-JANGH2OsaurusApple M5 Max(内存未写,卡称面向 48GB Mac)46.546.5 tok/s 生成;902.0 tok/s 读入宣称2026-10-03链接
Bonsai 27B 1-bitllama.cpp (PrismML fork)MacBook M5 Pro44.244.2 tok/s 生成;421 tok/s 读入宣称2026-07-04链接
Ternary-Bonsai-27Bllama.cpp (PrismML fork)MacBook M5 Max4444.0 tok/s 生成;830 tok/s 读入宣称2026-07-04链接
Qwen3.8-Flash-NextsushiMacBook M5 Pro 64GB44Sushi 1.6.0,MTP,上下文 128k。13.4 小时无人值守智能体跑(16 任务、2,292 请求)平均 decode 44,正文写明是 decode 而非端到端。提示缓存命中 95.9%。有跑分页,但主值是长程平均值,故为宣称。宣称2026-11-11链接
DeepSeek-V4.1-Flash-streaming-repack-exl3-3.0bpwmlx-serveMacBook M5 Max 128GB39.939.9 tok/s 生成;81.3 tok/s 读入;256K 提示解码 27.1,预填 456.3,首 token 574.5 秒;约 1M(1,047,488)提示解码 11.1,预填 262.6,首 token 3,988.9 秒宣称2026-10-06链接
Qwen3.8-Flash-Nextllama.cppMacBook M5 Max 64GB3636.0 tok/s 生成宣称2026-08-26链接
Underdog-27B-1.0MLXMacBook M5 Max 40C 48GB33.133.1 tok/s 生成宣称2026-09-30链接
Ternary Bonsai 2 27Bllama.cpp (PrismML fork)MacBook M5 Pro28.128.1 tok/s 生成;387 tok/s 读入宣称2026-09-16链接
Ternary-Bonsai-27Bllama.cpp (PrismML fork)MacBook M5 Pro26.226.2 tok/s 生成;393 tok/s 读入宣称2026-07-04链接
Qwen3.8-27BoMLXMacBook / Mac Studio M5 Max 128GB18oMLX 0.7.0:约 18 tok/s。每模型 3 次,约 1.2K/4.5K in、256 out,暖机、无 prompt-cache 命中;测试时暂停 Windows VM。tok_s 取约 18宣称2026-11-06链接
Qwen3.8-27B 4-bitoMLXMac M5 Pro 48GB(机型未注明)14.214.2 tok/s转述链接
Qwen-Image 2.1mfluxMac M5 Max~78 s / 1024²(40 步)转述链接
DeepSeek-V4.1-FlashMLXM3 Ultra 512GB / M5 Max 128GB~14.6 / 15(SSD 流式)、25(RDMA 张量并行)转述链接
Qwen3.8-Flash-NextoMLXM3 Ultra / M5 MaxM3U 32K prefill 396 → 636 tok/s;M5 Max 8 请求首 token 7.41 → 5.75 s;oMLX 0.7.4.dev1 Prefill Accelerator(M3 Ultra 512GB + M5 Max 128GB,64K prompt):预填 1,309 → 3,666;decode 不变(x.com/jundotkim/status/2117923876642656592)官方链接
Qwen3.8-27BMLXMac Studio M5 Max 64GB平均 75.6 vs 33.9 tok/s(MTP 支持不同)转述链接
Qwen3.8-27BMTPLXMac Studio M5 Max58.7 持续 / 73 峰值转述链接
Qwen3.8-27BDFlashMac M5 Max代码 151 vs 32–33 tok/s转述链接

数字来自各条来源。本项目未复测。各行的模型与设置不同。来源等级:官方 = 项目方或厂商;实测 = 发帖人亲测(引擎或配方作者须公开原始数据和复现步骤);转述 = 二手;宣称 = 预测或无复现细节。