RTX 5060 Ti 相关配置:本地推理速度(tok/s),均有出处
截至 2026-11-14,本数据集中 RTX 5060 Ti 有 27 条配方,其中发帖人实测 20 条。单机单流文字最快实测:162 tok/s,模型 LFM2.5-24B-A2B,引擎 llama.cpp(RTX 5060 Ti 16GB;实测;2026-10-15;来源)。其中 26 条有日期,从 2026-07-22 到 2026-11-13。
| 模型 | 引擎 | 硬件 | tok/s | 指标 | 来源等级 | 日期 | 来源 |
|---|---|---|---|---|---|---|---|
| LFM2.5-24B-A2B | llama.cpp | RTX 5060 Ti 16GB | 162 | 162.0 tok/s;数学题 3.99 s;GSM8K 97%,MMLU 82%;同 GGUF 同 llama.cpp build;写作速度 5 次中位 | 实测 | 2026-10-15 | 链接 |
| Flint 40B | llama.cpp | RTX 5060 Ti 16GB | 115.8 | llama.cpp b11972,512 token 2 次中位:散文 115.8 / 代码 116.0;32K 时 90.7;32K 首 token 15.6 s。对比 RTX 5090 NVFP4 224.9 | 实测 | 2026-11-03 | 链接 |
| Qwen3.8-Flash-Next | Strata | 1× RTX 5060 Ti 16GB + 61GB RAM | 95 | 约 100K 上下文内 decode 约 95–106;热缓存重读约 0.2 秒;Basalt 预填快 35%,Strata decode 快 15%;显存 15.8/16 GB;限定:另一位 5060 Ti 16GB 测试者升级到 Strata 0.2.10(engine 0.1.54 → 0.1.56,UD-IQ4_XS)后慢 4–7%:会话 32.1 → 30.3,agent 生成 39.5 → 38.1(x.com/yutacar/status/2117447921100833121) | 实测 | 2026-11-01 | 链接 |
| Qwen3.8-Flash-Next | Strata | RTX 5060 Ti 16GB(PCIe 5.0 x8)+ RTX 3060 12GB(芯片组 PCIe 4.0 x4)层切分 + Core i5-14400F + 62.6GB DDR5(Linux) | 87.9 | Strata 0.1.59.1(0.2.13.1)+ 3 个未入 main 的 conversation-cache 提交(作者称不触及预填/decode 路径)。配置 262,144,int8 KV,层界 17。reasoning decode(MTP,--spec 4)中位 87.9(75.8–88.1)作主值;同设置短 decode 75.2。DFlash2 reasoning 77.6 另标。作者写 3060 使用 gpu-unlock 1.0.0,按仓库惯例打 gpu-unlock 标签。逐 run jsonl 在 PR。 | 实测 | 2026-11-12 | 链接 |
| Qwen3.8-Flash-Next | Strata | 2× RTX 5060 Ti 16GB(层切分,PCIe 3.0 x8 / x4)+ 6 核 Zen 2 CPU | 79.6 | 短对话 decode 79.6;agent 轮次 92.4;预填 4K 696.5 / 16K 1,133.3 / 32K 1,371.8;会话缓存命中 69.3%;每项 3 次;限定:Strata 0.2.10 起 Auto 默认改用 DFlash2;双卡 decode 可能弱于 MTP 或弱于单卡(Strata #5206 双 4060 Ti 上 DFlash2≈MTP;#5172 双 RX 9070 比单卡慢 10–50%) | 实测 | 2026-10-29 | 链接 |
| Qwen3.8-Flash-Next Abliterated | Strata | V100 32GB + RTX 5060 Ti 16GB + 32GB DDR5 | 78 | 78 tok/s @32K;56 tok/s @262K | 实测 | 链接 | |
| Qwen3.8-27B | ExLlama | 2× RTX 5060 Ti 16GB | 73.1 | code 73.1,prose 68.4;32K 提示读入 996 | 实测 | 2026-10-26 | 链接 |
| Qwen3.8-Flash-Next | Strata | RTX 5070 12GB + RTX 5060 Ti 16GB(两张不同的 Blackwell 卡,按层切分)+ Ryzen 9 9950X3D2 + 125GB RAM(Windows 11) | 67.3 | 调优后(STRATA_ARENA_PIN_GIB=40、STRATA_STAGE_TRIM=1、层切分 K=28、西里尔字母草稿词表):俄文提示 decode 67.0,英文提示 67.3;预填 2,161。调优前 decode 46.2、预填 1,567.7。只用 STAGE_TRIM 时 53.9。每点 6 次;作者自有提示,不是 strata bench。tok_s 取英文值;2026-11-02 同一测试者扫了 engine 0.1.47–0.1.55(NVFP4 GPTQ,262K):decode 66.6–70.0,预填约 2,930–2,972,版本之间没有可测差异(Strata #4996) | 实测 | 2026-10-27 | 链接 |
| Qwen3.8-Flash-Next | Strata | RTX 5060 Ti 16GB(PCIe 4 x8)+ i7-14700 + 128GB RAM | 67 | Strata 0.2.7(engine 0.1.52),standard-v1,自调参数:短 67.0 / 4K 63.8 / 16K 62.7;预填 16K 1,834 | 实测 | 2026-10-28 | 链接 |
| Bonsai2 27B | 未注明 | RTX 5060 Ti 16GB | 67 | 带 MTP 头 67 tok/s;262K 上下文 + MTP + 视觉同时加载占 15.2/15.9 GB | 实测 | 2026-09-27 | 链接 |
| Qwen3.8-27B | ExLlama | RTX 5060 Ti 16GB | 66 | MiaAI_lab 一键包默认配置:代码 66 tok/s,最多 176K 上下文(temp 0,固定种子,3 次一致)(代码速度;帖子未给散文速度) | 实测 | 2026-10-13 | 链接 |
| Clover-35B-A3B | llama.cpp | 1× RTX 5060 Ti 16GB | 61.9 | 扩散 LLM,纯自回归(作者自投机在 16GB 专家卸载下会崩)。代码 61.7 / 散文 61.9;8K 预填 992;32K 首 token 39.9s;128K 179.9s;峰值显存 14.8 GiB。llama.cpp PR 构建 cb09d4355;512 token,温度 0,种子 42,思考关,2 次中位数。对照同作者 Spark BF16/SGLang 散文 26.0(x-260)。tok_s 取散文 61.9 | 实测 | 2026-11-06 | 链接 |
| Qwen3.8-Flash-Next | Strata | RTX 5070 12GB + RTX 5060 Ti 16GB + 64GB RAM(WSL) | 54 | Strata v0.2.6 / v0.2.8,同一长文读 3 次:生成 54–62(第 1 次冷缓存 41–55);约 4K 预填 v0.2.8 为 221.7 / 289.6 / 333.5。作者提示:第 1 次测的是文件缓存,不是版本差。2026-11-08同作者双卡、Strata0.2.11、IQ3_S、40960上限:STRATA_PREFILL_LAYER_MAJOR=1令约14K预填466.6变1059.8、33K453.7变717.5,每项3次中位(x.com/murasametech/status/2119247324656623651)。只测预填,无decode加速证据,54主值不变。2026-11-10同作者同双卡、同 IQ3_S:v0.2.11 与 v0.2.12 同日对比,decode 53.9–59.9 无差。预填仅上限 128K、约 3.3 万 token 一项 411.7→496.2(约 +20%);其余预填项范围重叠。54 主值不变。 | 实测 | 2026-11-02 | 链接 |
| Qwen3.8-27B | llama.cpp | RTX 5060 Ti 16GB | 50.2 | MTP-2:30 token 提示 50.2 / 6.6K 提示 48.1 tok/s;MTP-1 45.8;无 MTP 27.6;峰值显存 14.8 GiB;接受率 77.2% | 实测 | 2026-10-11 | 链接 |
| Qwen3.8-Flash-Next | Strata | RTX 3060 12GB + RTX 5060 Ti 16GB + 125GB RAM | 39 | Strata 0.2.10 源码编译。Ampere+Blackwell 首个 NVFP4 layer split 报告:decode 39–45(同卡对 UD-Q4_K_XL 为 29.5–37.1);31K prompt 24.8–25.2s(对照 29.0s)。最佳切分 K=18。tok_s 取下限 39 | 实测 | 2026-11-05 | 链接 |
| Qwen3.8-27B-SLQ-EAR98 | vLLM | 2× RTX 5060 Ti 16GB | 33 | code 33.0,prose 33.0;聚合(另计)8 请求 143.1;上下文 94,208 | 实测 | 2026-10-26 | 链接 |
| Qwen3.8-27B(Saluki by Underdog,7.9 GB) | llama.cpp | RTX 5060 Ti 16GB | 32 | 代码 32 tok/s,可装满 262K 上下文(无视觉文件)(代码速度;帖子未给散文速度) | 实测 | 2026-10-13 | 链接 |
| Qwen3.8-27B | 未注明 | RTX 5060 Ti 16GB(Thunderbolt 外接)+ MacBook Pro M1 Max(Linux) | 24 | decode 24,是笔记本自带 GPU 的 2.6 倍 | 实测 | 2026-11-03 | 链接 |
| Qwen3.8-27B | llama.cpp | 双卡:RTX 5060 Ti 16GB + GTX 1080 8GB(tensor split 4,1) | 21.9 | llama.cpp 日志 21.39–21.93 tok/s(生成 1.6–1.9K token);tg_3s 约 26.4 | 实测 | 2026-10-14 | 链接 |
| DeepSeek-V4.1-Flash | Strata | 1× RTX 5060 Ti 16GB(PCIe 4.0 x8)+ Ryzen 9 7900X + 64GB RAM(专家/Engram 自 Gen5 NVMe 流式读入) | 14.8 | Strata 0.2.13.1 / engine 0.1.59。tools/strata_bench.py --long,3 次中位,思考关,单请求:短对话 decode 14.8(13.6–16.9);agent 16.0。安装默认:上下文 131,072,视觉开,自动 RAM store,DSpark 自动。专家与 Engram 从 Gen5 NVMe 流式读入,与同模型 Z820 内存驻留路径不同。0 失败请求。社区格式,非 standard-v1。 | 实测 | 2026-11-10 | 链接 |
| Qwen3.8-Flash-Next | Basalt | RTX 5090 32GB + RTX 5060 Ti 16GB + 128GB RAM | 300 | Basalt 0.2.0:散文约 300,结构化约 600,预填约 10K。NVFP4-DQ8 对 BF16 的 KLD 0.0561 | 宣称 | 2026-11-03 | 链接 |
| Qwen3.8-27B | tqLLM | RTX 5060 Ti 16GB | 175.9 | 短提示 175.9 tok/s(5 次中位,本地跑,未提交 LocalMaxxing);200K 提示 113 tok/s | 官方 | 2026-10-15 | 链接 |
| Qwen3.6-35B-A3B-Escha-W2 | SGLang | RTX 5060 Ti 16GB | 128 | 128 tok/s 生成 | 宣称 | 2026-07-22 | 链接 |
| Qwen3.8-Flash-Next | Strata | 2× RTX 5060 Ti 16GB(层切分,主卡 + helper)+ i5-12600KF + 62.6GiB(Ubuntu 26.04) | 79.5 | Strata commit 628f7495,engine 0.1.59,release 构建;--draft dflash2 --spec 6,KV int8,层切分 auto。配置 204,800,1 槽。strata bench run standard 完整跑(思考开,温度 1.0):short decode 中位 79.5(76.8–79.9,3 次)作主值;4K 66.4,16K 72.8;读入 4K/16K 838/1,600。sanity 12/12。正文是 runner 报告,但 results.json 与 outputs.jsonl 未附在 issue,记为宣称。同类 2× 5060 Ti 的 IQ2_XS 行见 comm-194。 | 宣称 | 2026-11-13 | 链接 |
| DeepSeek-V4.1-Flash-1017 | Basalt | RTX 5090 32GB(400W)+ RTX 5060 Ti 16GB(180W)+ 128GB DDR5 | 63.5 | 5090 + 5060 Ti 各算专家:解码 63.5 / prefill 610(6.2K 提示);仅 5090:53.6 / 610(热)595(冷);同机 llama.cpp PR #30817 --fit 约 20;作者实验分支未公开 | 宣称 | 2026-10-21 | 链接 |
| Qwen3.8-Flash-Next | Strata | 1× RTX 5060 Ti 16GB | 36.5 | Strata v0.2.11:Dynamic v3.1 相对旧 UD-IQ4_XS,对话 30.9→36.5(+18%),agent 40.8→43.7;预填几乎不变。注:与 Strata #5296(gfx1151 上同系新文件预填回退)并存——不同后端不可比。tok_s 取新文件对话 36.5。另一作者jkenner111,5060Ti/7900X/64GB、source0.1.58、UD-IQ4_XS V3.1 revd9620119,262144上限:标准短/4K/16K56.9/52.0/48.3;sanity12/12,约9.4GiB专家仍读NVMe(github.com/Niko1221/Strata/pull/5514)。不是原作者/default设置的同条件复测,不用56.9覆盖36.5。 | 宣称 | 2026-11-06 | 链接 |
| Qwen3.8-27B-NVFP4-MTP | llama.cpp | RTX 5070 Ti 16GB + RTX 5060 Ti 16GB(双卡 tensor split) | 18.44 | 18.44 tok/s 生成;645.6 tok/s 读入;MID-HIGH(Q8_0)+ MTP 在 32K 时 25.98 tok/s 生成,1451.6 tok/s 读入 | 宣称 | 2026-08-14 | 链接 |
数字来自各条来源。本项目未复测。各行的模型与设置不同。来源等级:官方 = 项目方或厂商;实测 = 发帖人亲测(引擎或配方作者须公开原始数据和复现步骤);转述 = 二手;宣称 = 预测或无复现细节。