Bonsai:本地推理速度(tok/s),均有出处
截至 2026-11-14,本数据集中 Bonsai 有 28 条配方,其中发帖人实测 5 条。单机单流文字最快实测:85 tok/s,模型 Bonsai 1.7B,引擎 BitRun(Core i5-12600K(纯 CPU);实测;2026-10-16;来源)。其中 28 条有日期,从 2026-03-18 到 2026-10-21。
| 模型 | 引擎 | 硬件 | tok/s | 指标 | 来源等级 | 日期 | 来源 |
|---|---|---|---|---|---|---|---|
| Bonsai 1.7B | BitRun | Core i5-12600K(纯 CPU) | 85 | 生成 85 tok/s(约 22 W) | 实测 | 2026-10-16 | 链接 |
| Bonsai 1.7B | BitRun | Apple M4 Pro(纯 CPU) | 73 | 生成 ~73 tok/s(~11.7 W,约 0.31 J/token) | 实测 | 2026-10-16 | 链接 |
| Bonsai2 27B | 未注明 | RTX 5060 Ti 16GB | 67 | 带 MTP 头 67 tok/s;262K 上下文 + MTP + 视觉同时加载占 15.2/15.9 GB | 实测 | 2026-09-27 | 链接 |
| Bonsai-27B | llama.cpp (pinkmanwest fork) | GTX 1660 SUPER 6GB(Windows) | 56.6 | llama-bench tg512 @ 2048 深度:补丁版 56.6 / 原版 19.0;困惑度 18.10 vs 18.11,贪心输出与原版逐字节相同;只支持 Turing(sm_75)与 Q1_0 | 实测 | 2026-10-21 | 链接 |
| Ternary Bonsai 2 27B(heretic 去拒答) | 未注明 | RTX 3060 12GB | 50 | 接自制 MTP/草稿头 50 tok/s(无草稿 39);权重+头+128K 上下文共占 10.7/12 GB,KV q4(另帖 2110546197794468240 称 51 tok/s) | 实测 | 2026-10-15 | 链接 |
| Bonsai-8B | llama.cpp (PrismML fork) | RTX 4090 | 368 | 368 tok/s 生成;11809 tok/s 读入 | 宣称 | 2026-03-18 | 链接 |
| Bonsai-8B | MLX | MacBook M4 Pro 48GB | 131 | 131 tok/s 生成;472 tok/s 读入 | 宣称 | 2026-03-18 | 链接 |
| Ternary Bonsai 2 27B | llama.cpp (PrismML fork) | RTX 5090 32GB | 129.9 | 129.9 tok/s 生成;3893 tok/s 读入;PTQ1_0 120.5 tok/s 生成,1805 tok/s 读入 | 宣称 | 2026-09-16 | 链接 |
| Ternary-Bonsai-2-27B-262k | mirai-s-ada | RTX 4070 12GB | 102 | 102 tok/s 生成;1173 tok/s 读入;32K 时 78(代码 175),预填 1,031;258K 窗口末端 8.6(代码 12.1),预填 436 | 宣称 | 2026-10-07 | 链接 |
| Bonsai-8B | llama.cpp (PrismML fork) | MacBook M4 Pro 48GB | 85 | 85 tok/s 生成;498 tok/s 读入 | 宣称 | 2026-03-18 | 链接 |
| Ternary-Bonsai-8B | MLX | MacBook M4 Pro 48GB | 83 | 83 tok/s 生成;460 tok/s 读入 | 宣称 | 2026-04-13 | 链接 |
| Ternary Bonsai 2 27B | llama.cpp (PrismML fork) | RTX 4090 24GB | 81.2 | 81.2 tok/s 生成;3124 tok/s 读入;PTQ1_0 91.1 tok/s 生成,1645 tok/s 读入 | 宣称 | 2026-09-16 | 链接 |
| Bonsai-8B | llama.cpp (PrismML fork) | RTX 3060 Laptop | 81 | 81 tok/s 生成;1871 tok/s 读入 | 宣称 | 2026-03-18 | 链接 |
| Bonsai 27B 1-bit | llama.cpp (PrismML fork) | MacBook M5 Max | 66.4 | 66.4 tok/s 生成;874 tok/s 读入 | 宣称 | 2026-07-04 | 链接 |
| Ternary-Bonsai-2-27B-MTPLX-Optimized-Speed | MTPLX | MacBook Pro M5 Max 128GB | 64.4 | 64.4 tok/s 生成;16K 提示后 57.1 | 宣称 | 2026-09-22 | 链接 |
| Ternary-Bonsai-2-27B-262k | mirai-s-ada | RTX 2060 SUPER 8GB | 51.2 | 51.2 tok/s 生成 | 宣称 | 2026-10-07 | 链接 |
| Ternary Bonsai 2 27B | llama.cpp | MacBook M5 Max | 47 | 47.0 tok/s 生成;765 tok/s 读入 | 宣称 | 2026-09-16 | 链接 |
| Bonsai 27B 1-bit | llama.cpp (PrismML fork) | MacBook M5 Pro | 44.2 | 44.2 tok/s 生成;421 tok/s 读入 | 宣称 | 2026-07-04 | 链接 |
| Bonsai-8B | MLX Swift (PrismML fork) | iPhone 17 Pro Max | 44 | 44 tok/s 生成;377 tok/s 读入 | 宣称 | 2026-03-18 | 链接 |
| Ternary-Bonsai-27B | llama.cpp (PrismML fork) | MacBook M5 Max | 44 | 44.0 tok/s 生成;830 tok/s 读入 | 宣称 | 2026-07-04 | 链接 |
| Ternary Bonsai 2 27B | llama.cpp (PrismML fork) | MacBook M5 Pro | 28.1 | 28.1 tok/s 生成;387 tok/s 读入 | 宣称 | 2026-09-16 | 链接 |
| Ternary-Bonsai-8B | MLX Swift | iPhone 17 Pro Max | 27 | 27 tok/s 生成;363 tok/s 读入 | 宣称 | 2026-04-13 | 链接 |
| Ternary-Bonsai-27B | llama.cpp (PrismML fork) | MacBook M5 Pro | 26.2 | 26.2 tok/s 生成;393 tok/s 读入 | 宣称 | 2026-07-04 | 链接 |
| Bonsai 27B 1-bit | llama.cpp (PrismML fork) | MacBook M4 Pro | 26 | 26.0 tok/s 生成;133 tok/s 读入 | 宣称 | 2026-07-04 | 链接 |
| Bonsai-8B | llama.cpp | Samsung S25 Ultra | 19.6 | 19.6 tok/s 生成;30.4 tok/s 读入 | 宣称 | 2026-03-18 | 链接 |
| Ternary Bonsai 2 27B | llama.cpp | MacBook M4 Pro | 18 | 18.0 tok/s 生成;125 tok/s 读入 | 宣称 | 2026-09-16 | 链接 |
| Ternary-Bonsai-27B | llama.cpp (PrismML fork) | MacBook M4 Pro | 18 | 18.0 tok/s 生成;125 tok/s 读入 | 宣称 | 2026-07-04 | 链接 |
| Bonsai 27B 1-bit | MLX Swift | iPhone 17 Pro Max (A19 Pro) | 11 | 11.0 tok/s 生成;111 tok/s 读入 | 宣称 | 2026-07-04 | 链接 |
数字来自各条来源。本项目未复测。各行的模型与设置不同。来源等级:官方 = 项目方或厂商;实测 = 发帖人亲测(引擎或配方作者须公开原始数据和复现步骤);转述 = 二手;宣称 = 预测或无复现细节。