⚡ 本地推理配方

English | 简体中文 | 日本語

Gemma:本地推理速度(tok/s),均有出处

截至 2026-11-14,本数据集中 Gemma 有 7 条配方,其中发帖人实测 2 条。单机单流文字最快实测:118.4 tok/s,模型 Gemma 4 31B,引擎 NInferno(RTX 5090 Laptop GPU(5090M 24GB);实测;2026-10-29;来源)。其中 7 条有日期,从 2026-10-13 到 2026-11-06。

在配方库中筛选这些 →

模型引擎硬件tok/s指标来源等级日期来源
Gemma 4 31BNInfernoRTX 5090 Laptop GPU(5090M 24GB)118.4短对话 decode(greedy/sampled):Fast 118.4 / 114.0,Max-context 106.8 / 99.7,起点 33.2;预填 8K 4,154,约 130K 约 1,600实测2026-10-29链接
Gemma 4 E4B-itSonicBoom笔记本 RTX 3050 8GB51.65解码 51.65 tok/s(tg64;同机同 GGUF llama.cpp 45.20)实测2026-10-13链接
Gemma 4 31BRadiance4× Radeon AI PRO R9700 32GB445.81 用户 445.8(main chain 352.2);聚合(另计)2/4/8/16 用户 376.4/553.4/727.0/869.7/965.3 区间;PR 未合并,数字只作宣称宣称2026-10-25链接
Gemma 4 31BRadiance4× Radeon AI PRO R9700 32GB377.71 用户 377.7(main chain 352.2,+7.2%);聚合(另计)16 用户 959.6;PR 未合并,数字只作宣称宣称2026-10-25链接
Gemma 4 26B-A4BoMLXMacBook / Mac Studio M5 Max 128GB83同帖 oMLX 0.7.0:约 83–86 tok/s。方法同 x-283。tok_s 取下限 83宣称2026-11-06链接
Gemma 4 12BTensorFold1× DGX Spark(GB10)37单流输出 37;MTP 草稿模型下 greedy chat 30→67(2.2×,另计)官方2026-10-24链接
Gemma 4 31BTensorFold1× DGX Spark(GB10)29.9greedy chat:无草稿 12.6 → z-lab DFlash 29.9(2.4×),tok_s 取 DFlash 值官方2026-10-24链接

数字来自各条来源。本项目未复测。各行的模型与设置不同。来源等级:官方 = 项目方或厂商;实测 = 发帖人亲测(引擎或配方作者须公开原始数据和复现步骤);转述 = 二手;宣称 = 预测或无复现细节。