Mac Studio M3 Ultra 相关配置:本地推理速度(tok/s),均有出处
截至 2026-11-14,本数据集中 Mac Studio M3 Ultra 有 36 条配方,其中发帖人实测 14 条。单机单流文字最快实测:130 tok/s,模型 Qwen3.8-Flash-Next,引擎 TensorFold(Mac Studio M3 Ultra;实测;来源)。其中 18 条有日期,从 2026-08-19 到 2026-11-14。
| 模型 | 引擎 | 硬件 | tok/s | 指标 | 来源等级 | 日期 | 来源 |
|---|---|---|---|---|---|---|---|
| Qwen3.8-Flash-Next | TensorFold | Mac Studio M3 Ultra | 130 | 峰值 130 tok/s(0.3.4 为 128) | 实测 | 链接 | |
| Qwen3.8-Flash-Next | oMLX | Mac Studio M3 Ultra | 97.1 | 97.1 tok/s 解码;~1,131 PP(未缓存) | 实测 | 链接 | |
| Qwen3.8-Flash-Next 4-bit | oMLX | Mac Studio M3 Ultra | 97.1 | 23k 上下文整体解码 97.1 tok/s;无缓存预填充约 1,131 tok/s | 实测 | 2026-09-13 | 链接 |
| Qwen3.8-Flash-Next | ds4 (DwarfStar) | Mac Studio M3 Ultra | 65 | 65 tok/s(演示视频) | 实测 | 链接 | |
| DeepSeek-V4.1-Flash | MLX | 2× Mac Studio M3 Ultra 512GB | 40 | 40–66 tok/s 解码(接受率 70–81%);~1,100 PP | 实测 | 链接 | |
| DeepSeek-V4.1-Flash | oMLX | Mac Studio M3 Ultra | 33 | 约 6 → 33.0 tok/s(32K 6.17→33.0;64K 5.58→33.0) | 实测 | 链接 | |
| Qwen3.8-27B | 未注明 | Mac Studio M3 Ultra 96GB | 21.51 | 21.51 tok/s(比无草稿快 63%);峰值 58.09GB | 实测 | 链接 | |
| GLM-5.3(744B 全量,非 Flash) | 未注明 | Mac Studio M3 Ultra 512GB | 14.58 | 14.58 tok/s 生成;145.86 PP | 实测 | 链接 | |
| Qwen3.8-Flash-Next | oMLX | Mac Studio M3 Ultra 512GB | 短提示 70;代码 98;4K 59.0 → 256K 38.6;16K PP 1,143 | 实测 | 链接 | ||
| Qwen3.8-Flash-Next | oMLX | Mac Studio M5 Ultra 256GB vs M3 Ultra 512GB | M5U:111.6/142.9 → oQ8e(表放 SSD)86.8/119.0;M3U:77.3/103.9 → oQ8e 63.5/89.1 | 实测 | 链接 | ||
| Qwen3.8-27B | oMLX | Mac Studio M5 Ultra 256GB / M3 Ultra 512GB / RTX 5090 | 6K 提示:48 / 31 / 59 tok/s;PP 1,701 / 414 / 3,031;256K:24.3 / 15.0 / 30.0(5090 需 8-bit KV) | 实测 | 链接 | ||
| Qwen3.6-35B-A3B | oMLX | Mac Studio M3 Ultra 256GB | 1 路 57.2;2 路合计 113.5;4 路合计 73.4(倒退) | 实测 | 链接 | ||
| GLM-5.3-Flash | oMLX | Mac Studio M5 Ultra 256GB / M3 Ultra 512GB | 41 / 26 tok/s(含推理 token);16K PP 1,107 / 428;64K PP 1,016 / 448 | 实测 | 链接 | ||
| GLM-5.3-Flash | oMLX | Mac Studio M3 Ultra | 8 路同时:合计 78 tok/s、首 token 均 <1.6 s、26 s 全部完成;oMLX 第 8 个请求等 43 s;单路 +12% | 实测 | 链接 | ||
| Qwen3.6-35B-A3B | DFlash | Mac Studio M3 Ultra | 251 | 251 tok/s | 宣称 | 2026-08-19 | 链接 |
| Qwen3.8-Flash-Next | TensorFold | Mac Studio M3 Ultra(内存未注明) | 147.8 | 单流 120.8→147.8(1.1.4→1.1.5);聚合(另计)8 流 154.8→180.2;预填不变 | 官方 | 2026-10-26 | 链接 |
| Qwen3.6-35B-A3B | gbx | Mac Studio M3 Ultra(内存未注明) | 120.5 | gbx 120.5 / omlx 93.3 / Ollama 88.2 / mlx-vlm 82.0 / mlx-lm 76.3 tok/s 解码;开投机解码 gbx 176 vs omlx 156(厂商对比,引擎版本未注明) | 官方 | 2026-10-15 | 链接 |
| DeepSeek-V4.1-Flash-1017 | mlx-serve | 2× Mac Studio M3 Ultra(TB5 RDMA 张量并行) | 88 | mlx-serve PR 草稿(未合并),llmprobe:DSpark decode 88(单机 56),可预测文本 116;普通 decode 54(单机 41);预填 1,608(单机 1,018);4 并发聚合 94(单机 62)。0.5–256K 平均 decode / 预填:双机 69.5 / 1,365,单机 51.7 / 889(x.com/ivanfioravanti/status/2117658847544525094);2026-11-05 ivanfioravanti 用原始权重跑 DeepSeek Harness:mlx-server 2×M3 Ultra 与 TensorFold 4×Spark 平均 decode 约 52,最大上下文 815K(M3)/ 400K(Spark)(x.com/ivanfioravanti/status/2118222107783873005) | 宣称 | 2026-11-03 | 链接 |
| Spark-X2.5/2.6-4B | TensorFold | Mac Studio M3 Ultra(内存未注明) | 69 | 单流 69;预填 2k 2,840;输出 token 与 CUDA 引擎一致 | 官方 | 2026-10-26 | 链接 |
| Qwen3.8-27B | Rapid-MLX | Mac Studio M3 Ultra 256GB | 43.4 | 43.4 tok/s 生成;330.8 tok/s 预填充(8K 提示);TTFT 中位数 24.66s | 官方 | 2026-09-02 | 链接 |
| GLM-5.3-Flash | oMLX | Mac Studio M3 Ultra | 40.6 | 31.3 → 40.6 tok/s(+30%);oMLX 0.7.4.dev1 Prefill Accelerator(加一台 M5 Max 128GB,64K prompt):预填 540 → 1,388;decode 不变(x.com/jundotkim/status/2117923876642656592) | 官方 | 链接 | |
| GLM-5.3-Flash | llama.cpp | Mac Studio M3 Ultra 512GB(统一内存,macOS 27.2) | 35.3 | llama.cpp 1.0.0(Homebrew,build 12359),-ngl 999 -c 16384,--spec-type draft-mtp。方法与 comm-408 相同:单请求,输出 512 token,温度 0,12 次中位数。prompt B decode 35.3 作主值;prompt A 33.5(31.5–37.7),预填 327。同机 unsloth UD-Q4_K_XL:prompt B 37.5 / prompt A 35.7,不同量化只作备注。有方法、中位数和区间,无逐次原始文件,记为宣称。 | 宣称 | 2026-11-14 | 链接 |
| DeepSeek-V4.1-Flash | Front_Eagle739 streaming stack | Mac Studio M3 Ultra 512GB + RTX 5090 PC(32GB RAM,RAID0 NVMe) | 35 | 长 prompt 预填约 3,800;decode 35(散文)到 60(代码);只用 Mac 约 900 / 60 | 宣称 | 2026-10-30 | 链接 |
| MiniMax-M3.1-Flash (abliterated, gate/up Q3) | ds4 (DwarfStar) | Mac Studio M3 Ultra 256GB | 31 | 贪婪 31,长文 19.5。tok_s 取贪婪 31 | 宣称 | 2026-11-05 | 链接 |
| GLM-5.3-Flash(320B/18B 激活) | Rapid-MLX | Mac Studio M3 Ultra 256GB | 27.8 | 27.8 tok/s 生成;359.6 tok/s 预填充(8K 提示);TTFT 中位数 22.78s | 官方 | 2026-09-02 | 链接 |
| GLM-5.3-Flash | Project Maya | Mac Studio M3 Ultra 512GB(统一内存,macOS 27.2) | 27.6 | Project Maya v1.1.61 @c5842c5,实验性 Metal 后端,本机构建,专家全在内存,MTP 配置。单请求(OpenAI 式 API),输出 512 token,温度 0,每格 12 次中位数,每格 3 题 sanity 全对。prompt B(按文字说明写新脚本,没有可复制的内容)decode 27.6 作主值。prompt A(改写脚本,回答会复制提示)27.9(25.9–28.7),预填 365。DFlash2 草稿 26.6 / 25.9(A / B),草稿关 21.7(3 次)。同机 unsloth UD-Q4_K_XL:Maya DFlash2 33.0 / 29.7,MTP 28.2 / 28.1(A / B),不同量化只作备注。同一 issue 的 llama.cpp 1.0.0 对照见 comm-409。上下文上限未写,不填。有方法、中位数和区间,无逐次原始文件,记为宣称。 | 宣称 | 2026-11-14 | 链接 |
| Qwen3.8-Flash-Next(180B/6B 激活) | Rapid-MLX | Mac Studio M3 Ultra 256GB | 23 | 23.0 tok/s 生成;867.9 tok/s 预填充(8K 提示);TTFT 中位数 9.40s | 官方 | 2026-09-02 | 链接 |
| Qwen3.8-27B | MLX | Mac Studio M3 Ultra 512GB | 12.46 | 解码 12.46 tok/s(Table 3,~8K ctx,128 gen) | 官方 | 2026-10-15 | 链接 |
| Mistral Medium 3.5 128B | MLX | Mac Studio M3 Ultra 512GB | 4.95 | 解码 4.95 tok/s(Table 3,~8K ctx,128 gen) | 官方 | 2026-10-15 | 链接 |
| DeepSeek-V4.1-Flash | InferSSD | Mac Studio M3 Ultra 96GB + 一对 OWC Envoy Ultra 2TB TB5 SSD(跨端口 RAID 0,一驱动器一端口) | 4.4 | InferSSD(版本未写)从 SSD 流式读取专家权重,473GiB 的 Q8_0 装不进 96GB 内存。双 TB5 SSD RAID 0 的 decode 为 4.4–4.6,对比单块 Envoy(与内置 SSD 相当)的 3.5–3.7(约 +23–26%);预填约 +67–77%,4K 提示开始回答约 3.5 分钟→2 分钟。tok_s 取 4.4。作者写 763B;评论里的 11.15GB/s 不是作者本人实测,不用 | 宣称 | 2026-11-07 | 链接 |
| Qwen3.8-Flash-Next | oMLX | Mac Studio M3 Ultra 256GB | 102 单流;8 流 134(stock oMLX 25) | 转述 | 链接 | ||
| Qwen3.8-27B | TensorFold | Mac Studio M3 Ultra | 采样请求的代码回答 125;散文 51(1.0.5 均约 20,输出 token 相同) | 官方 | 2026-10-11 | 链接 | |
| DeepSeek-V4.1-Flash | MLX | M3 Ultra 512GB / M5 Max 128GB | ~14.6 / 15(SSD 流式)、25(RDMA 张量并行) | 转述 | 链接 | ||
| Qwen3.8-Flash-Next | oMLX | M3 Ultra / M5 Max | M3U 32K prefill 396 → 636 tok/s;M5 Max 8 请求首 token 7.41 → 5.75 s;oMLX 0.7.4.dev1 Prefill Accelerator(M3 Ultra 512GB + M5 Max 128GB,64K prompt):预填 1,309 → 3,666;decode 不变(x.com/jundotkim/status/2117923876642656592) | 官方 | 链接 | ||
| DeepSeek-V4-Flash(V4 非 4.1) | oMLX | Mac Studio M3 Ultra 512GB | 35(oMLX,Viticci);ds4 短 35.5 / 长 26.6;PP 448.8 | 转述 | 链接 | ||
| Mistral Large 4(1T,A52B) | MLX | 2× Mac Studio M3 Ultra(分布式) | MLX-VLM 分布式推理,batch 3 时 20(单流未给出) | 宣称 | 2026-11-03 | 链接 |
数字来自各条来源。本项目未复测。各行的模型与设置不同。来源等级:官方 = 项目方或厂商;实测 = 发帖人亲测(引擎或配方作者须公开原始数据和复现步骤);转述 = 二手;宣称 = 预测或无复现细节。