⚡ 本地推理配方

English | 简体中文 | 日本語

Bonsai:本地推理速度(tok/s),均有出处

截至 2026-11-14,本数据集中 Bonsai 有 28 条配方,其中发帖人实测 5 条。单机单流文字最快实测:85 tok/s,模型 Bonsai 1.7B,引擎 BitRun(Core i5-12600K(纯 CPU);实测;2026-10-16;来源)。其中 28 条有日期,从 2026-03-18 到 2026-10-21。

在配方库中筛选这些 →

模型引擎硬件tok/s指标来源等级日期来源
Bonsai 1.7BBitRunCore i5-12600K(纯 CPU)85生成 85 tok/s(约 22 W)实测2026-10-16链接
Bonsai 1.7BBitRunApple M4 Pro(纯 CPU)73生成 ~73 tok/s(~11.7 W,约 0.31 J/token)实测2026-10-16链接
Bonsai2 27B未注明RTX 5060 Ti 16GB67带 MTP 头 67 tok/s;262K 上下文 + MTP + 视觉同时加载占 15.2/15.9 GB实测2026-09-27链接
Bonsai-27Bllama.cpp (pinkmanwest fork)GTX 1660 SUPER 6GB(Windows)56.6llama-bench tg512 @ 2048 深度:补丁版 56.6 / 原版 19.0;困惑度 18.10 vs 18.11,贪心输出与原版逐字节相同;只支持 Turing(sm_75)与 Q1_0实测2026-10-21链接
Ternary Bonsai 2 27B(heretic 去拒答)未注明RTX 3060 12GB50接自制 MTP/草稿头 50 tok/s(无草稿 39);权重+头+128K 上下文共占 10.7/12 GB,KV q4(另帖 2110546197794468240 称 51 tok/s)实测2026-10-15链接
Bonsai-8Bllama.cpp (PrismML fork)RTX 4090368368 tok/s 生成;11809 tok/s 读入宣称2026-03-18链接
Bonsai-8BMLXMacBook M4 Pro 48GB131131 tok/s 生成;472 tok/s 读入宣称2026-03-18链接
Ternary Bonsai 2 27Bllama.cpp (PrismML fork)RTX 5090 32GB129.9129.9 tok/s 生成;3893 tok/s 读入;PTQ1_0 120.5 tok/s 生成,1805 tok/s 读入宣称2026-09-16链接
Ternary-Bonsai-2-27B-262kmirai-s-adaRTX 4070 12GB102102 tok/s 生成;1173 tok/s 读入;32K 时 78(代码 175),预填 1,031;258K 窗口末端 8.6(代码 12.1),预填 436宣称2026-10-07链接
Bonsai-8Bllama.cpp (PrismML fork)MacBook M4 Pro 48GB8585 tok/s 生成;498 tok/s 读入宣称2026-03-18链接
Ternary-Bonsai-8BMLXMacBook M4 Pro 48GB8383 tok/s 生成;460 tok/s 读入宣称2026-04-13链接
Ternary Bonsai 2 27Bllama.cpp (PrismML fork)RTX 4090 24GB81.281.2 tok/s 生成;3124 tok/s 读入;PTQ1_0 91.1 tok/s 生成,1645 tok/s 读入宣称2026-09-16链接
Bonsai-8Bllama.cpp (PrismML fork)RTX 3060 Laptop8181 tok/s 生成;1871 tok/s 读入宣称2026-03-18链接
Bonsai 27B 1-bitllama.cpp (PrismML fork)MacBook M5 Max66.466.4 tok/s 生成;874 tok/s 读入宣称2026-07-04链接
Ternary-Bonsai-2-27B-MTPLX-Optimized-SpeedMTPLXMacBook Pro M5 Max 128GB64.464.4 tok/s 生成;16K 提示后 57.1宣称2026-09-22链接
Ternary-Bonsai-2-27B-262kmirai-s-adaRTX 2060 SUPER 8GB51.251.2 tok/s 生成宣称2026-10-07链接
Ternary Bonsai 2 27Bllama.cppMacBook M5 Max4747.0 tok/s 生成;765 tok/s 读入宣称2026-09-16链接
Bonsai 27B 1-bitllama.cpp (PrismML fork)MacBook M5 Pro44.244.2 tok/s 生成;421 tok/s 读入宣称2026-07-04链接
Bonsai-8BMLX Swift (PrismML fork)iPhone 17 Pro Max4444 tok/s 生成;377 tok/s 读入宣称2026-03-18链接
Ternary-Bonsai-27Bllama.cpp (PrismML fork)MacBook M5 Max4444.0 tok/s 生成;830 tok/s 读入宣称2026-07-04链接
Ternary Bonsai 2 27Bllama.cpp (PrismML fork)MacBook M5 Pro28.128.1 tok/s 生成;387 tok/s 读入宣称2026-09-16链接
Ternary-Bonsai-8BMLX SwiftiPhone 17 Pro Max2727 tok/s 生成;363 tok/s 读入宣称2026-04-13链接
Ternary-Bonsai-27Bllama.cpp (PrismML fork)MacBook M5 Pro26.226.2 tok/s 生成;393 tok/s 读入宣称2026-07-04链接
Bonsai 27B 1-bitllama.cpp (PrismML fork)MacBook M4 Pro2626.0 tok/s 生成;133 tok/s 读入宣称2026-07-04链接
Bonsai-8Bllama.cppSamsung S25 Ultra19.619.6 tok/s 生成;30.4 tok/s 读入宣称2026-03-18链接
Ternary Bonsai 2 27Bllama.cppMacBook M4 Pro1818.0 tok/s 生成;125 tok/s 读入宣称2026-09-16链接
Ternary-Bonsai-27Bllama.cpp (PrismML fork)MacBook M4 Pro1818.0 tok/s 生成;125 tok/s 读入宣称2026-07-04链接
Bonsai 27B 1-bitMLX SwiftiPhone 17 Pro Max (A19 Pro)1111.0 tok/s 生成;111 tok/s 读入宣称2026-07-04链接

数字来自各条来源。本项目未复测。各行的模型与设置不同。来源等级:官方 = 项目方或厂商;实测 = 发帖人亲测(引擎或配方作者须公开原始数据和复现步骤);转述 = 二手;宣称 = 预测或无复现细节。