⚡ 本地推理配方

English | 简体中文 | 日本語

Mac Studio M3 Ultra 相关配置:本地推理速度(tok/s),均有出处

截至 2026-11-14,本数据集中 Mac Studio M3 Ultra 有 36 条配方,其中发帖人实测 14 条。单机单流文字最快实测:130 tok/s,模型 Qwen3.8-Flash-Next,引擎 TensorFold(Mac Studio M3 Ultra;实测;来源)。其中 18 条有日期,从 2026-08-19 到 2026-11-14。

在配方库中筛选这些 →

模型引擎硬件tok/s指标来源等级日期来源
Qwen3.8-Flash-NextTensorFoldMac Studio M3 Ultra130峰值 130 tok/s(0.3.4 为 128)实测链接
Qwen3.8-Flash-NextoMLXMac Studio M3 Ultra97.197.1 tok/s 解码;~1,131 PP(未缓存)实测链接
Qwen3.8-Flash-Next 4-bitoMLXMac Studio M3 Ultra97.123k 上下文整体解码 97.1 tok/s;无缓存预填充约 1,131 tok/s实测2026-09-13链接
Qwen3.8-Flash-Nextds4 (DwarfStar)Mac Studio M3 Ultra6565 tok/s(演示视频)实测链接
DeepSeek-V4.1-FlashMLX2× Mac Studio M3 Ultra 512GB4040–66 tok/s 解码(接受率 70–81%);~1,100 PP实测链接
DeepSeek-V4.1-FlashoMLXMac Studio M3 Ultra33约 6 → 33.0 tok/s(32K 6.17→33.0;64K 5.58→33.0)实测链接
Qwen3.8-27B未注明Mac Studio M3 Ultra 96GB21.5121.51 tok/s(比无草稿快 63%);峰值 58.09GB实测链接
GLM-5.3(744B 全量,非 Flash)未注明Mac Studio M3 Ultra 512GB14.5814.58 tok/s 生成;145.86 PP实测链接
Qwen3.8-Flash-NextoMLXMac Studio M3 Ultra 512GB短提示 70;代码 98;4K 59.0 → 256K 38.6;16K PP 1,143实测链接
Qwen3.8-Flash-NextoMLXMac Studio M5 Ultra 256GB vs M3 Ultra 512GBM5U:111.6/142.9 → oQ8e(表放 SSD)86.8/119.0;M3U:77.3/103.9 → oQ8e 63.5/89.1实测链接
Qwen3.8-27BoMLXMac Studio M5 Ultra 256GB / M3 Ultra 512GB / RTX 50906K 提示:48 / 31 / 59 tok/s;PP 1,701 / 414 / 3,031;256K:24.3 / 15.0 / 30.0(5090 需 8-bit KV)实测链接
Qwen3.6-35B-A3BoMLXMac Studio M3 Ultra 256GB1 路 57.2;2 路合计 113.5;4 路合计 73.4(倒退)实测链接
GLM-5.3-FlashoMLXMac Studio M5 Ultra 256GB / M3 Ultra 512GB41 / 26 tok/s(含推理 token);16K PP 1,107 / 428;64K PP 1,016 / 448实测链接
GLM-5.3-FlashoMLXMac Studio M3 Ultra8 路同时:合计 78 tok/s、首 token 均 <1.6 s、26 s 全部完成;oMLX 第 8 个请求等 43 s;单路 +12%实测链接
Qwen3.6-35B-A3BDFlashMac Studio M3 Ultra251251 tok/s宣称2026-08-19链接
Qwen3.8-Flash-NextTensorFoldMac Studio M3 Ultra(内存未注明)147.8单流 120.8→147.8(1.1.4→1.1.5);聚合(另计)8 流 154.8→180.2;预填不变官方2026-10-26链接
Qwen3.6-35B-A3BgbxMac Studio M3 Ultra(内存未注明)120.5gbx 120.5 / omlx 93.3 / Ollama 88.2 / mlx-vlm 82.0 / mlx-lm 76.3 tok/s 解码;开投机解码 gbx 176 vs omlx 156(厂商对比,引擎版本未注明)官方2026-10-15链接
DeepSeek-V4.1-Flash-1017mlx-serve2× Mac Studio M3 Ultra(TB5 RDMA 张量并行)88mlx-serve PR 草稿(未合并),llmprobe:DSpark decode 88(单机 56),可预测文本 116;普通 decode 54(单机 41);预填 1,608(单机 1,018);4 并发聚合 94(单机 62)。0.5–256K 平均 decode / 预填:双机 69.5 / 1,365,单机 51.7 / 889(x.com/ivanfioravanti/status/2117658847544525094);2026-11-05 ivanfioravanti 用原始权重跑 DeepSeek Harness:mlx-server 2×M3 Ultra 与 TensorFold 4×Spark 平均 decode 约 52,最大上下文 815K(M3)/ 400K(Spark)(x.com/ivanfioravanti/status/2118222107783873005)宣称2026-11-03链接
Spark-X2.5/2.6-4BTensorFoldMac Studio M3 Ultra(内存未注明)69单流 69;预填 2k 2,840;输出 token 与 CUDA 引擎一致官方2026-10-26链接
Qwen3.8-27BRapid-MLXMac Studio M3 Ultra 256GB43.443.4 tok/s 生成;330.8 tok/s 预填充(8K 提示);TTFT 中位数 24.66s官方2026-09-02链接
GLM-5.3-FlashoMLXMac Studio M3 Ultra40.631.3 → 40.6 tok/s(+30%);oMLX 0.7.4.dev1 Prefill Accelerator(加一台 M5 Max 128GB,64K prompt):预填 540 → 1,388;decode 不变(x.com/jundotkim/status/2117923876642656592)官方链接
GLM-5.3-Flashllama.cppMac Studio M3 Ultra 512GB(统一内存,macOS 27.2)35.3llama.cpp 1.0.0(Homebrew,build 12359),-ngl 999 -c 16384,--spec-type draft-mtp。方法与 comm-408 相同:单请求,输出 512 token,温度 0,12 次中位数。prompt B decode 35.3 作主值;prompt A 33.5(31.5–37.7),预填 327。同机 unsloth UD-Q4_K_XL:prompt B 37.5 / prompt A 35.7,不同量化只作备注。有方法、中位数和区间,无逐次原始文件,记为宣称。宣称2026-11-14链接
DeepSeek-V4.1-FlashFront_Eagle739 streaming stackMac Studio M3 Ultra 512GB + RTX 5090 PC(32GB RAM,RAID0 NVMe)35长 prompt 预填约 3,800;decode 35(散文)到 60(代码);只用 Mac 约 900 / 60宣称2026-10-30链接
MiniMax-M3.1-Flash (abliterated, gate/up Q3)ds4 (DwarfStar)Mac Studio M3 Ultra 256GB31贪婪 31,长文 19.5。tok_s 取贪婪 31宣称2026-11-05链接
GLM-5.3-Flash(320B/18B 激活)Rapid-MLXMac Studio M3 Ultra 256GB27.827.8 tok/s 生成;359.6 tok/s 预填充(8K 提示);TTFT 中位数 22.78s官方2026-09-02链接
GLM-5.3-FlashProject MayaMac Studio M3 Ultra 512GB(统一内存,macOS 27.2)27.6Project Maya v1.1.61 @c5842c5,实验性 Metal 后端,本机构建,专家全在内存,MTP 配置。单请求(OpenAI 式 API),输出 512 token,温度 0,每格 12 次中位数,每格 3 题 sanity 全对。prompt B(按文字说明写新脚本,没有可复制的内容)decode 27.6 作主值。prompt A(改写脚本,回答会复制提示)27.9(25.9–28.7),预填 365。DFlash2 草稿 26.6 / 25.9(A / B),草稿关 21.7(3 次)。同机 unsloth UD-Q4_K_XL:Maya DFlash2 33.0 / 29.7,MTP 28.2 / 28.1(A / B),不同量化只作备注。同一 issue 的 llama.cpp 1.0.0 对照见 comm-409。上下文上限未写,不填。有方法、中位数和区间,无逐次原始文件,记为宣称。宣称2026-11-14链接
Qwen3.8-Flash-Next(180B/6B 激活)Rapid-MLXMac Studio M3 Ultra 256GB2323.0 tok/s 生成;867.9 tok/s 预填充(8K 提示);TTFT 中位数 9.40s官方2026-09-02链接
Qwen3.8-27BMLXMac Studio M3 Ultra 512GB12.46解码 12.46 tok/s(Table 3,~8K ctx,128 gen)官方2026-10-15链接
Mistral Medium 3.5 128BMLXMac Studio M3 Ultra 512GB4.95解码 4.95 tok/s(Table 3,~8K ctx,128 gen)官方2026-10-15链接
DeepSeek-V4.1-FlashInferSSDMac Studio M3 Ultra 96GB + 一对 OWC Envoy Ultra 2TB TB5 SSD(跨端口 RAID 0,一驱动器一端口)4.4InferSSD(版本未写)从 SSD 流式读取专家权重,473GiB 的 Q8_0 装不进 96GB 内存。双 TB5 SSD RAID 0 的 decode 为 4.4–4.6,对比单块 Envoy(与内置 SSD 相当)的 3.5–3.7(约 +23–26%);预填约 +67–77%,4K 提示开始回答约 3.5 分钟→2 分钟。tok_s 取 4.4。作者写 763B;评论里的 11.15GB/s 不是作者本人实测,不用宣称2026-11-07链接
Qwen3.8-Flash-NextoMLXMac Studio M3 Ultra 256GB102 单流;8 流 134(stock oMLX 25)转述链接
Qwen3.8-27BTensorFoldMac Studio M3 Ultra采样请求的代码回答 125;散文 51(1.0.5 均约 20,输出 token 相同)官方2026-10-11链接
DeepSeek-V4.1-FlashMLXM3 Ultra 512GB / M5 Max 128GB~14.6 / 15(SSD 流式)、25(RDMA 张量并行)转述链接
Qwen3.8-Flash-NextoMLXM3 Ultra / M5 MaxM3U 32K prefill 396 → 636 tok/s;M5 Max 8 请求首 token 7.41 → 5.75 s;oMLX 0.7.4.dev1 Prefill Accelerator(M3 Ultra 512GB + M5 Max 128GB,64K prompt):预填 1,309 → 3,666;decode 不变(x.com/jundotkim/status/2117923876642656592)官方链接
DeepSeek-V4-Flash(V4 非 4.1)oMLXMac Studio M3 Ultra 512GB35(oMLX,Viticci);ds4 短 35.5 / 长 26.6;PP 448.8转述链接
Mistral Large 4(1T,A52B)MLX2× Mac Studio M3 Ultra(分布式)MLX-VLM 分布式推理,batch 3 时 20(单流未给出)宣称2026-11-03链接

数字来自各条来源。本项目未复测。各行的模型与设置不同。来源等级:官方 = 项目方或厂商;实测 = 发帖人亲测(引擎或配方作者须公开原始数据和复现步骤);转述 = 二手;宣称 = 预测或无复现细节。