Gemma:ローカル推論速度(tok/s)、出典付き
2026-11-14 時点で、このデータセットには Gemma のレシピが 7 件あります。投稿者実測は 2 件です。単一デバイス・シングルストリームのテキスト実測の最速は 118.4 tok/s(Gemma 4 31B、エンジン NInferno、RTX 5090 Laptop GPU (5090M 24GB)、実測、2026-10-29、出典)。日付のあるエントリは 7 件(2026-10-13〜2026-11-06)。
| モデル | エンジン | ハードウェア | tok/s | 指標 | 出典レベル | 日付 | 出典 |
|---|---|---|---|---|---|---|---|
| Gemma 4 31B | NInferno | RTX 5090 Laptop GPU (5090M 24GB) | 118.4 | Short-chat decode (greedy/sampled): Fast 118.4 / 114.0, Max-context 106.8 / 99.7, start point 33.2; prefill at 8K 4,154, at about 130K about 1,600 | 実測 | 2026-10-29 | リンク |
| Gemma 4 E4B-it | SonicBoom | laptop RTX 3050 8GB | 51.65 | decode 51.65 tok/s (tg64; same machine/GGUF llama.cpp 45.20) | 実測 | 2026-10-13 | リンク |
| Gemma 4 31B | Radiance | 4× Radeon AI PRO R9700 32GB | 445.8 | 1 user 445.8 (main chain 352.2); aggregate (separate) at 2/4/8/16 users about 376–965; the PR is not merged, so the numbers are claims only | 主張 | 2026-10-25 | リンク |
| Gemma 4 31B | Radiance | 4× Radeon AI PRO R9700 32GB | 377.7 | 1 user 377.7 (main chain 352.2, +7.2%); aggregate (separate) 16 users 959.6; the PR is not merged, so the numbers are claims only | 主張 | 2026-10-25 | リンク |
| Gemma 4 26B-A4B | oMLX | MacBook / Mac Studio M5 Max 128GB | 83 | Same post, oMLX 0.7.0: about 83–86 tok/s. Method same as x-283. tok_s uses the floor 83 | 主張 | 2026-11-06 | リンク |
| Gemma 4 12B | TensorFold | 1× DGX Spark (GB10) | 37 | single-stream decode 37; with its MTP assistant greedy chat goes 30→67 (2.2×, separate) | 公式 | 2026-10-24 | リンク |
| Gemma 4 31B | TensorFold | 1× DGX Spark (GB10) | 29.9 | greedy chat: 12.6 without drafter → 29.9 with z-lab DFlash (2.4×); tok_s is the DFlash value | 公式 | 2026-10-24 | リンク |
数値は各出典のものです。本プロジェクトでは再計測していません。行ごとにモデルと設定が異なります。出典レベル:公式 = プロジェクトまたはベンダー、実測 = 投稿者が実行(エンジンまたはレシピの作者は生データと再現手順も公開する)、伝聞 = 二次情報、主張 = 予測または再現手順なし。