GLM:本地推理速度(tok/s),均有出处
截至 2026-11-14,本数据集中 GLM 有 51 条配方,其中发帖人实测 34 条。单机单流文字最快实测:87 tok/s,模型 GLM 5.3(帖文原话 “GLM 5.3 Code”),引擎 oMLX(Mac Studio M5 Ultra;实测;2026-09-27;来源)。其中 39 条有日期,从 2026-09-02 到 2026-11-14。
| 模型 | 引擎 | 硬件 | tok/s | 指标 | 来源等级 | 日期 | 来源 |
|---|---|---|---|---|---|---|---|
| GLM-5.3-Flash | TensorFold | 2× Mac Studio M5 Ultra 256GB(TB5 RDMA 直连,4 根线) | 109 | decode(MTP 开):1 台 82,2 台 1 根线 102,2 台 4 根线 109;130K 预填:1,938 / 1,973 / 2,384(TTFT 69 / 68 / 56 s);3 次中位数,无 prompt 缓存 | 实测 | 2026-10-29 | 链接 |
| GLM-5.3-Flash EXL3 | TensorFold | 4× DGX Spark(有/无交换机均可,TP4 分支) | 95 | 1 流 95 tok/s(prose);4 流 163 | 实测 | 2026-10-10 | 链接 |
| GLM-5.3-Flash | TensorFold | 4× DGX Spark(GB10,无交换机环网 TP4,GPU 时钟上限 2,200 MHz) | 93.3 | Vince v2.4 叠加层(TensorFold v0.6.0 Python 引擎,改 30 个文件;不用 Mia 默认 Zig 引擎)。与 x-018(Mia 原版 4×Spark EXL3,散文 95)引擎不同,不合并。sparkDash 2.70.0、2026-11-11、温度 0.7、思考开、单次:单流散文 decode 93.3 作主值;代码 138.1 另标。2 路散文 合计 132.6 / 8 路 合计 223.8,不作单流主值。服务窗口 1,048,576。同 README 更早 v2.1 口径:sparkDash 温度 0 思考关散文 90.4,自有协议 72.9,另标。配方作者表附原始 json 与复现步骤,按规则记实测(单次跑)。增益主要在预填,不在 decode。 | 实测 | 2026-11-11 | 链接 |
| GLM-5.3-Flash | 未注明 | 3× DGX Spark + 1× Acer GN100(200G 环形直连,无交换机) | 88.1 | 单聊 88.1;聚合(另计)8 路 177.2;262K prompt 99 s 完成 | 实测 | 2026-10-29 | 链接 |
| GLM 5.3(帖文原话 “GLM 5.3 Code”) | oMLX | Mac Studio M5 Ultra | 87 | 代码 125 tok/s,散文 87 tok/s | 实测 | 2026-09-27 | 链接 |
| GLM-5.3-Flash(320B/18B 激活) | TensorFold | 2× DGX Spark | 83 | 单用户 EXL3 对 NVIDIA FP4-Local(TensorFold 1.1.9):JSON 82 / 52,代码 83 / 47,改写 73 / 52,解释 58 / 42,故事 46 / 36;128K 上下文 47;聚合(另计)4 用户 82 / 56。思考关 GPQA Diamond 69% / 71%,IFEval 81% / 64% | 实测 | 2026-11-02 | 链接 |
| GLM-5.3-Flash | oMLX | Mac Studio M5 Ultra 256GB | 61.7 | oMLX 自带 bench(代码上下文):pp1024/tg128 tg 61.7、pp 1,588;pp4096–65536 tg 58.1–59.6、pp 约 2,32x–2,37x;聚合(另计)4× 99.3;131K 超出 Metal 内存上限 | 实测 | 2026-10-24 | 链接 |
| GLM-5.3-Flash EXL3 | 未注明 | 2× DGX Spark (GB10) | 61.43 | 复现 MiaAI_lab recipe:1 流 61.43(Mia 60.4);4 流 107.8(Mia 108.8) | 实测 | 2026-10-03 | 链接 |
| GLM-5.3-Flash | TensorFold | 2× DGX Spark(TP2) | 54 | 1 流 54 tok/s;2 流 83;4 流合计 142(旧 0.3.4:40/53/54) | 实测 | 2026-10-01 | 链接 |
| GLM-5.3-Flash(320B/18B 激活) | vLLM | 4× ASUS Ascent GX10(GB10,TP=4,100Gb 交换机) | 47.7 | 单流 decode:代码 47.7 ± 2.7,散文 41.3 ± 3.0(每行 n=15,95% CI,按 completion_tokens 计);聚合(另计)64 并发 420–427;97K 提示约 45 秒预填;MTP 平均接受 2.7–2.9 个 token。tok_s 取代码值 | 实测 | 2026-10-27 | 链接 |
| GLM-5.3-Flash(320B/18B 激活) | TensorFold | 2× DGX Spark | 47.1 | 1 用户真实提示(TensorFold / vLLM):JSON 51.5 / 50.3,代码 47.1 / 41.0,改写 52.0 / 40.7,解释 42.0 / 33.3,故事 36.3 / 24.6;4 用户两者持平;128K 提示 91 秒读入,第 2 轮从缓存 1.3 秒。tok_s 取代码值 | 实测 | 2026-11-01 | 链接 |
| GLM-5.3-Flash Maya-S | Project Maya | 2× Radeon AI PRO R9700 32GB + i5-13500 + 96GB DDR5(Ubuntu 24.04) | 45.2 | Maya v1.1.57,./maya.sh --bench。decode 三次作答均值 45.2(44.1/46.0/45.4,greedy,思考关,各至多 256 token)。8K 提示预填 848。上下文 131072。maya-report.txt 附于 issue。 | 实测 | 2026-11-10 | 链接 |
| GLM-5.3-Flash | Strata | 2× Tesla V100 PCIe 32GB + 双路 Xeon Gold 6240 + 181GiB RAM | 41.24 | decode 41.24 / prefill 519.34(8,192 输入 / 512 输出,3 次计时);运行设置为实验性且有损(近似 CPU Q8、有界路由、软 MTP 接受),权重未改;非常驻专家在 CPU 上以 W4A8 计算主机内存中的 FP4 权重(卸载) | 实测 | 2026-10-21 | 链接 |
| GLM-5.3-Flash | TensorFold | 2× DGX Spark | 38.7 | MiaAI 1104 配方(TensorFold,1M 上下文,8 slot,GPU 锁 2200 MHz)。niklaslenz:散文 38.7 / 代码 42.4(思考关,512 token,2 次中位数);用 Mia 自带测试方法复现 47.8(思考开),4 流合计 87.7,128K 预填 1,787。jmurillocode:散文单流思考关 33.7 / 开 40.3,8 流 89.9 / 101.1,预填约 1,747(x.com/jmurillocode/status/2118322418523480496)。JASONMCNAB:与 Mia 公布值差 ≤5%,1 流 50.3 vs 47.8(x.com/JASONMCNAB/status/2118312375732367487)。Mia 原帖自报约 48 / 4 流约 87(x.com/MiaAI_lab/status/2118005417494155664)。历史:同作者更早 EXL3 配方单流约 60.4 / 4 流 108.8(x.com/MiaAI_lab/status/2105598458547646875)。tok_s 取 niklaslenz 散文 38.7 | 实测 | 2026-11-05 | 链接 |
| GLM-5.3-Flash(320B/18B 激活) | llama.cpp | 1× Mac Studio 256GB(芯片未注明) | 38.5 | decode 38.5(同帖另写“手元 37”);ctx 未给 | 实测 | 2026-10-27 | 链接 |
| GLM-5.3-Flash | Project Maya | 2 台台式机各 4× RTX 3060 12GB(PCIe 3.0,无 P2P,经 1 GbE 双机 layer split)+ 20GB/32GB RAM | 38 | 双机 Maya two-box split(PR #1,已合并):短 decode 38–42(tok_s 取下限 38);约 30K 上下文 decode 33–37;预填 2K 300–350 / 30K 约 1,100–1,170;agent 轮次约 6–7 秒;编码 agent 基准 48/48。对照:同 8×3060 装进单机 42–45。复现步骤见 https://github.com/0xluk/project-maya/blob/maya-v1.1.50/docs/TWO-BOX-SPLIT.md (文件在 maya-v1.1.50 分支,不在当前 main) | 实测 | 2026-11-05 | 链接 |
| GLM-5.3(755B 全量,非 Flash) | TensorFold | 4× DGX Spark(GB10,RoCE v2,TP=4) | 35.3 | 128K 提示后单请求 decode:MTP 35.3 / DFlash2 42.9;256K 33.2 / 40.7;512K 32.2 / 37.8;128K 首 token 120.1 秒(MTP);编程提示,推理强度低,KV 4bit,GPU 钟限 2.1 GHz,无前缀缓存。tok_s 取默认 MTP 的 128K 值 | 实测 | 2026-10-27 | 链接 |
| GLM-5.3-Flash | Project Maya | 2× Tesla V100-PCIE-32GB(150W)+ EPYC 7V12 + 256GB DDR4-3200(Gigabyte MZ32) | 34.9 | Project Maya v1.1.52。官方 --bench 平均 decode 34.9(Python CSV 34.5 / 光合作用 32.4 / HTML 弹球 37.9);实用请求 33.6–37.9。预填 2K/8K 为 378/589。上下文 131,072,已 --calibrate。maya-bench.txt 与 maya-report.txt 附件公开。来源只写 E-ATX 主板(MZ32),未显示机架/服务器机箱,按塔式收录。 | 实测 | 2026-11-10 | 链接 |
| GLM-5.3-Flash | Project Maya | R9700 + RX 7900 XT 双卡 | 34 | ~34 tok/s 解码;~490 PP | 实测 | 链接 | |
| GLM-5.3-Flash | TensorFold | 2× DGX Spark | 34 | stock TensorFold:单流 34 / 8 流聚合 59;1M 上下文;冷启动约 2.5 分钟(对照作者旧 vLLM NVFP4 配方约 16 分钟、单流 28)。附 GitHub 配方仓库与 ./run.sh。与 x-017(MiaAI 1104,散文 38.7)同卡不同配方。tok_s 取单流 34 | 实测 | 2026-11-05 | 链接 |
| GLM-5.3-Flash | vLLM | 2× DGX Spark | 31.2 | 1 用户 31.2;聚合(另计)2/4 用户 45.3/54.7;8k 提示读入 3.6s。2026-11-08 Reederey b12x 套件(vLLM + FlashInfer b12x,MTP-3,1M 上下文):3 次代码测 c1 40.2 / c8 79.4。与本行 31.2 同模型×引擎族×双 Spark,但 harness 为代码 bench 且镜像钉死,不作覆盖;40.2 记为代码任务备注。 | 实测 | 2026-10-26 | 链接 |
| GLM-5.3-Flash | 未注明 | 2× DGX Spark | 30 | 30 tok/s | 实测 | 链接 | |
| GLM-5.3-Flash | Project Maya | AMD R9700 32GB 单卡(+系统内存) | 28 | 解码 ~28 tok/s;PP ~800 | 实测 | 链接 | |
| RED-SNOW-5.3-FLASH(GLM-5.3-Flash 去拒答版) | TabbyAPI | 1× DGX Spark | 27.5 | 第 2 部分单流:结构化 45.2 / JSON 45.7 / 代码 35.9 / 散文 27.5;33K 研究回合 32;8K→240K 解码 50.1→44.4;TTFT 8K 14 s / 65K 79 s / 240K 280 s;prefill 450–640 tok/s;浅层 69 W;第 1 部分(同作者前一帖):结构化 43.2 / 代码 40.7 / 散文 29.2 | 实测 | 2026-10-14 | 链接 |
| GLM-5.3(744B 全量,非 Flash) | 未注明 | 2× DGX Spark | 20 | prose 约 20 | 实测 | 2026-10-29 | 链接 |
| GLM-5.3-Flash-Maya-S (321B) | 未注明 | 1× RTX 5090 + 64GB DDR5 | 18 | 32K prompt 预填 1,749(作者说 M5 Ultra 为 1,107);decode 约 18–25(作者说 512GB M5 Ultra 为 31–41) | 实测 | 2026-10-30 | 链接 |
| GLM-5.3(744B 全量,非 Flash) | TideLM | 2× DGX Spark(GB10,TP) | 17.2 | 3 次中位,1,024 token,temp 0.6:散文 17.2 / 代码 20.8;8K 提示首 token 19.5 秒。tok_s 取散文 | 实测 | 2026-10-27 | 链接 |
| GLM-5.3-Flash | 未注明 | Strix Halo(Framework Desktop 395+) | 17 | 17–18 tok/s | 实测 | 链接 | |
| GLM-5.3(744B 全量,非 Flash) | 未注明 | Mac Studio M3 Ultra 512GB | 14.58 | 14.58 tok/s 生成;145.86 PP | 实测 | 链接 | |
| GLM-5.3 744B | Project Maya | 4× RTX 3090 24GB(ASUS TUF OC,功耗限制 250W)+ EPYC 7702 + 512GB DDR4 ECC | 11.1 | Maya v1.1.57(commit 0065548)。--bench decode 均值 11.1(9.6/12.2/11.5)。预填 2K 145 / 8K 265。上下文 262144。完整 maya-report 贴在 issue。消费级 3090,未见机架证据。 | 实测 | 2026-11-10 | 链接 |
| GLM-5.3-Flash | TensorFold | 2× DGX Spark | 散文 60.4;结构化 114.7;4 流合计 108.8;8K 54.9 → 874K 44.6;2026-11-05 MiaAI 1104 配方见 x-017(独立复现散文 38.7) | 实测 | 链接 | ||
| GLM-5.3-Flash | oMLX | Mac Studio M5 Ultra 256GB / M3 Ultra 512GB | 41 / 26 tok/s(含推理 token);16K PP 1,107 / 428;64K PP 1,016 / 448 | 实测 | 链接 | ||
| GLM-5.3-Flash | oMLX | Mac Studio M3 Ultra | 8 路同时:合计 78 tok/s、首 token 均 <1.6 s、26 s 全部完成;oMLX 第 8 个请求等 43 s;单路 +12% | 实测 | 链接 | ||
| GLM-5.3-Flash | 未注明 | 3× DGX Spark | 8 个对话合计 214 tok/s,最慢对话 26–30 tok/s | 实测 | 2026-10-14 | 链接 | |
| GLM-5.3-Flash | 未注明 | 2× RTX PRO 6000 Blackwell Max-Q 96GB(限 300W) | 232 | 复现 MiaAI_lab 配方,散文,温度 0.7,思考开,400 token,2 次平均:300W C1 232;275W(默认)C1 207。聚合(另计)300W C2 329 / C3 384 / C4 442;275W 303 / 360 / 406。C1 首 token 47 ms | 宣称 | 2026-11-03 | 链接 |
| GLM-5.3-Flash | TensorFold | Mac Studio M5 Ultra 512GB | 89.2 | TensorFold 1.2.5 自有 4-bit 构建。32K token 提示,输出 decode 89.2,预填 2,088(首 token 15.5s)。同引擎读 oQ6e 6-bit 构建预填仅 431(首 token 75.2s);其他 5 种 oQ6e 组合写速 54.1–60.6。thinking off 短请求:散文 90.4 / 代码 92.6 / 计数 107.6。4-bit 与 6-bit 质量未比。配置的上下文上限未写,不填。无原始日志,降为宣称。 | 宣称 | 2026-11-10 | 链接 |
| GLM-5.3-Flash | gr8 | 2× DGX Spark(GB10)TP2,ConnectX 200G 直连 | 76 | 配方作者本人帖:单流 76(原话 “76 if you're just running one”);8 流约 100 为多路合计,不作单流主值。README 正文无速度表,无原始日志,降为宣称。引擎 gr8,release 901ad084。帖中未写所用档位(默认 MAX_MODEL_LEN 262,144,TUNE=context 时 1,048,576),上下文不填。配方仓 github.com/kindlingai/glm-5.3-flash-exlr8-2x-spark。 | 宣称 | 2026-11-10 | 链接 |
| GLM-5.3-Flash | TensorFold | Mac Studio M5 Ultra 256GB | 73.3 | TensorFold main 6c5cef8941(Metal),服务端 --parallel 3 --context 1048576,bench_concurrent --alone --serial,256 token,3 次。checkpoint 不是官方合格的 MLX 4-bit,而是 oMLX oQ4e 转换版。chat T0 单流 decode(默认 MTP)73.3 作主值;code T0 85.6;--no-drafts 时 chat 57.8 / code 58.9,只作备注。3 流 合计 chat 112.7 / code 130.0,不作单流主值。冷读 2K–32K 约 1,850–1,990。作者注明超过约 1 分钟的项结束时都高于 Nominal 温控状态,绝对值可能偏低几个百分点。作者称原始 JSON 与日志将随各 PR 发到 gist,本 issue 未附,记为宣称。 | 宣称 | 2026-11-13 | 链接 |
| GLM-5.3-Flash(320B/18B 激活) | 未注明 | 4× Intel Arc Pro B70(Windows) | 49 | decode 最高 49(同机 llama.cpp 约 24);提示处理约 1,000;128K 上下文 | 宣称 | 2026-11-02 | 链接 |
| GLM-5.3(753B 全量,非 Flash) | 未注明 | 1× RTX PRO 6000 Blackwell 96GB(约 250GB 卸载到系统内存) | 45 | 单卡 45 / 预填 1,200;TP2 两卡 62 / 预填 1,600。无官方 drafter。tok_s 取单卡 45 | 宣称 | 2026-11-05 | 链接 |
| GLM-5.3-Flash | oMLX | Mac Studio M3 Ultra | 40.6 | 31.3 → 40.6 tok/s(+30%);oMLX 0.7.4.dev1 Prefill Accelerator(加一台 M5 Max 128GB,64K prompt):预填 540 → 1,388;decode 不变(x.com/jundotkim/status/2117923876642656592) | 官方 | 链接 | |
| GLM-5.3-Flash-Maya | Project Maya | 2× Tesla V100 32GB + 30GB RAM | 40 | 40 tok/s 生成;560 tok/s 读入 | 宣称 | 2026-10-07 | 链接 |
| GLM-5.3-Flash | llama.cpp | Mac Studio M3 Ultra 512GB(统一内存,macOS 27.2) | 35.3 | llama.cpp 1.0.0(Homebrew,build 12359),-ngl 999 -c 16384,--spec-type draft-mtp。方法与 comm-408 相同:单请求,输出 512 token,温度 0,12 次中位数。prompt B decode 35.3 作主值;prompt A 33.5(31.5–37.7),预填 327。同机 unsloth UD-Q4_K_XL:prompt B 37.5 / prompt A 35.7,不同量化只作备注。有方法、中位数和区间,无逐次原始文件,记为宣称。 | 宣称 | 2026-11-14 | 链接 |
| GLM-5.3-Flash | TensorFold | 1× DGX Spark | 33.8 | MTP 1→3 drafts:结构化 33.91→40.24,数学 32.78→35.67,代码 32.67→33.46,散文 27.40→25.79,均值 31.69→33.79。作者标题写 40。tok_s 取均值 33.8 | 宣称 | 2026-11-05 | 链接 |
| GLM-5.3-Flash(320B/18B 激活) | Rapid-MLX | Mac Studio M3 Ultra 256GB | 27.8 | 27.8 tok/s 生成;359.6 tok/s 预填充(8K 提示);TTFT 中位数 22.78s | 官方 | 2026-09-02 | 链接 |
| GLM-5.3-Flash | Project Maya | Mac Studio M3 Ultra 512GB(统一内存,macOS 27.2) | 27.6 | Project Maya v1.1.61 @c5842c5,实验性 Metal 后端,本机构建,专家全在内存,MTP 配置。单请求(OpenAI 式 API),输出 512 token,温度 0,每格 12 次中位数,每格 3 题 sanity 全对。prompt B(按文字说明写新脚本,没有可复制的内容)decode 27.6 作主值。prompt A(改写脚本,回答会复制提示)27.9(25.9–28.7),预填 365。DFlash2 草稿 26.6 / 25.9(A / B),草稿关 21.7(3 次)。同机 unsloth UD-Q4_K_XL:Maya DFlash2 33.0 / 29.7,MTP 28.2 / 28.1(A / B),不同量化只作备注。同一 issue 的 llama.cpp 1.0.0 对照见 comm-409。上下文上限未写,不填。有方法、中位数和区间,无逐次原始文件,记为宣称。 | 宣称 | 2026-11-14 | 链接 |
| GLM-5.3-Flash(320B/18B 激活) | 未注明 | 1× DGX Spark | 27.6 | 平均 24.6;编码 27.6 tok/s | 转述 | 链接 | |
| GLM-5.3-Flash | TensorFold | 1× DGX Spark(GB10,128GB) | 26 | 帖文链接的作者 gist 写明补丁打在 TensorFold main commit 7d97cc656(v1.2.6 之后),不是按发帖时最新提交推断。单流 decode 散文约 26 作主值,代码约 35 另标,思考关。预填约 650,至 128K 大致持平。配置 2 个 slot、每个 262,144。2 路 合计约 34,不作单流主值。约值且无原始日志,故为宣称。 | 宣称 | 2026-11-10 | 链接 |
| GLM-5.3-Flash-Maya | Project Maya | Tesla V100 32GB + 64GB RAM | 19 | 19 tok/s 生成;370 tok/s 读入 | 宣称 | 2026-10-07 | 链接 |
| GLM-5.3-Flash | 未注明 | 3× DGX Spark | 散文 77 单流;4 流 146 | 转述 | 链接 | ||
| GLM-5.3-Flash | Strata | 2× V100 32GB + 256GB DDR4 | 转述 | 链接 |
数字来自各条来源。本项目未复测。各行的模型与设置不同。来源等级:官方 = 项目方或厂商;实测 = 发帖人亲测(引擎或配方作者须公开原始数据和复现步骤);转述 = 二手;宣称 = 预测或无复现细节。