Gemma:本地推理速度(tok/s),均有出处
截至 2026-11-14,本数据集中 Gemma 有 7 条配方,其中发帖人实测 2 条。单机单流文字最快实测:118.4 tok/s,模型 Gemma 4 31B,引擎 NInferno(RTX 5090 Laptop GPU(5090M 24GB);实测;2026-10-29;来源)。其中 7 条有日期,从 2026-10-13 到 2026-11-06。
| 模型 | 引擎 | 硬件 | tok/s | 指标 | 来源等级 | 日期 | 来源 |
|---|---|---|---|---|---|---|---|
| Gemma 4 31B | NInferno | RTX 5090 Laptop GPU(5090M 24GB) | 118.4 | 短对话 decode(greedy/sampled):Fast 118.4 / 114.0,Max-context 106.8 / 99.7,起点 33.2;预填 8K 4,154,约 130K 约 1,600 | 实测 | 2026-10-29 | 链接 |
| Gemma 4 E4B-it | SonicBoom | 笔记本 RTX 3050 8GB | 51.65 | 解码 51.65 tok/s(tg64;同机同 GGUF llama.cpp 45.20) | 实测 | 2026-10-13 | 链接 |
| Gemma 4 31B | Radiance | 4× Radeon AI PRO R9700 32GB | 445.8 | 1 用户 445.8(main chain 352.2);聚合(另计)2/4/8/16 用户 376.4/553.4/727.0/869.7/965.3 区间;PR 未合并,数字只作宣称 | 宣称 | 2026-10-25 | 链接 |
| Gemma 4 31B | Radiance | 4× Radeon AI PRO R9700 32GB | 377.7 | 1 用户 377.7(main chain 352.2,+7.2%);聚合(另计)16 用户 959.6;PR 未合并,数字只作宣称 | 宣称 | 2026-10-25 | 链接 |
| Gemma 4 26B-A4B | oMLX | MacBook / Mac Studio M5 Max 128GB | 83 | 同帖 oMLX 0.7.0:约 83–86 tok/s。方法同 x-283。tok_s 取下限 83 | 宣称 | 2026-11-06 | 链接 |
| Gemma 4 12B | TensorFold | 1× DGX Spark(GB10) | 37 | 单流输出 37;MTP 草稿模型下 greedy chat 30→67(2.2×,另计) | 官方 | 2026-10-24 | 链接 |
| Gemma 4 31B | TensorFold | 1× DGX Spark(GB10) | 29.9 | greedy chat:无草稿 12.6 → z-lab DFlash 29.9(2.4×),tok_s 取 DFlash 值 | 官方 | 2026-10-24 | 链接 |
数字来自各条来源。本项目未复测。各行的模型与设置不同。来源等级:官方 = 项目方或厂商;实测 = 发帖人亲测(引擎或配方作者须公开原始数据和复现步骤);转述 = 二手;宣称 = 预测或无复现细节。