⚡ 本地推理配方

English | 简体中文 | 日本語

RTX PRO 6000 相关配置:本地推理速度(tok/s),均有出处

截至 2026-11-14,本数据集中 RTX PRO 6000 有 21 条配方,其中发帖人实测 13 条。单机单流文字最快实测:300 tok/s,模型 Qwen3.8-27B,引擎 SGLang(RTX PRO 6000;实测;2026-08-20;来源)。其中 21 条有日期,从 2026-08-20 到 2026-11-13。

在配方库中筛选这些 →

模型引擎硬件tok/s指标来源等级日期来源
Qwen3.8-27BSGLangRTX PRO 6000300约 300 tok/s(帖文);mia-ai.net 列 240+、8 请求实测2026-08-20链接
Qwen3.8-Flash-NextvLLM1× RTX PRO 6000 Blackwell 96GB(限 450W)287编码任务(约 250 token 入,1,536 出,温度 0,思考关):单流 287(含预填的墙钟值);预填 4K 约 14.5K,128K 约 13.5K;聚合(另计)8 并发 965实测2026-10-30链接
Qwen3.8-Flash-NextTensorFold1× RTX PRO 6000 Blackwell 96GB271.4400W 散文 decode(温度 0.7,思考开):1 请求 271.4;聚合(另计)2 请求 395.7,3 请求 503.7;600W 预填 4K 9,218.8 / 32K 8,519.9 / 128K 7,886.9。X 帖写 600W,但配方页写 decode 是 400W 测的,本条按配方页实测2026-11-02链接
Recursive Flint 40B-A2.5Bllama.cpp1× RTX PRO 6000 Blackwell 96GB2441 请求 244;3 请求同时每请求 135;prefill 5,230;单次运行实测2026-10-23链接
Swift-1.5-Qwen3.8-Flash-NextninferRTX PRO 6000 Blackwell 96GB @ 600W + 96GB DDR4 + Ryzen 5 5600X238解码均值 ~238 tok/s(Ninfer6000 博客 sweep mean;MTP 3 draft)实测2026-10-15链接
Qwen3.8-Flash-NextStrata1× RTX PRO 6000 Blackwell WS 96GB (350W cap of 600W) + Windows 10228Strata v0.2.12 + 本地日志分支 3feea4f4(引擎未改),engine 0.1.58 官方 Windows CUDA13。短 chat 中位 decode 228(209–327);agent 266;预填 4K/16K/32K 4446/5054/5126。2 slots,int8 KV;needle 6/6@32K/128K。results.json 与 needles.json 公开。功耗硬限 350W。与同卡 UD-Q2_K_XL 的 x-293 分列。实测2026-11-08链接
Qwen3.8-Flash-NextSGLang (Penny Royal fork)1× RTX PRO 6000 Blackwell 96GB(限 300W)200Penny Royal 3.1.4,短提示,生成 400 token:1 流约 200(同卡原版 SGLang 约 94);聚合(另计)4 流约 500,8 流约 554(每流 74);预填约 12.5K;KV 池 942K token实测2026-11-02链接
Qwen3.8-Flash-NextvLLMRTX PRO 6000 Blackwell 96GB @ 600W + 96GB DDR4 + Ryzen 5 5600X150解码均值 ~150 tok/s(博客 sweep mean;MTP 2)实测2026-10-15链接
Qwen3.8-Flash-Nextllama.cppRTX PRO 6000 Blackwell 96GB @ 600W + 96GB DDR4 + Ryzen 5 5600X108解码均值 ~108 tok/s(博客 sweep mean;MTP 3)实测2026-10-15链接
Nanbeige4.3-33B未注明1× RTX PRO 6000 Max-Q(325W)105.3batch 1:NVFP4 + n-gram 代码 94.1,推理 92.6;加 DFlash2 代码 105.3;原版 FP8 42.9。tok_s 取 DFlash2 代码值实测2026-11-02链接
DeepSeek-V4.1-Flash-1017Strata1× RTX PRO 6000 Blackwell Workstation 96GB + Ryzen 7 9800X3D + 61GB RAM(Linux)86.1short 解码 86.1(58.5–130.9);32K 预填 2,185.6;Linux。Windows 同卡数据见另一条实测2026-10-26链接
Ripple-65B PreviewSGLang1× RTX PRO 6000 Blackwell 96GB49.3目标 SAGE-REXL3 5.41bpw,DFlash2 draft 为 Qwen3-8B EXL3 4.55bpw。SGLang 0.5.19 + sglang-exl3 插件 5d1c9ef。greedy:403-token 短提示峰值 64.8;1,564 token 44.9;3,152 token 49.3。采样峰值 53.1。冷预填约 1,796。tok_s 取较长生成的 49.3,不以 403-token 峰值 64.8 作为主值。22.3GB / 2.57bpw 包没有对应速度,不沿用。99.34% 是 55,535 个 assistant-turn token 的 next-token top-1 一致性,不是任务正确率。与 x-259 同模型同卡但量化/引擎/测法不同,不改 x-259 的 135.2。配方:github.com/vcruz305/Ripple-65B-Preview-EXL3-SGLang-recipe实测2026-11-07链接
DeepSeek-V4.1-Flash-1017Strata1× RTX PRO 6000 Blackwell Workstation 96GB + Ryzen 9 9950X3D + 128GB DDR5(Windows 11)Windows:预填大多 40–130(13.5K 新提示 112.5→126.5,PCIe x8→x16),解码 27–61;作者报告为引擎问题,tok_s 不填实测2026-10-26链接
Qwen3.8-Flash-NextStrata1× RTX PRO 6000 Blackwell 96GB300.3Strata 0.2.12 / engine 0.1.58 / CUDA13。短输入中位 decode 300.3;7K/29K 311.9/271.2;预填 935.8/7088.6/7561.1。每档 3 次×512 输出,零缓存输入。配置上下文 256K、int8 KV;实测输入仅到 29K。无原始 results 文件、无完整 CLI,主机 CPU/RAM 未给;按原始数据规则降为宣称。与限 350W 的 NVFP4 行 comm-300 同卡同引擎但量化/功耗不同,分列。宣称2026-11-09链接
Qwen3.8-Flash-NextExLlama1× RTX PRO 6000 Blackwell Max-Q 96GB299.4V2 配方(仓库提交 a659d52056):exllamav3 v1.6.4 + engine/patches(V2 补丁)+ TabbyAPI @564f8fb,6-bit KV,3M token 共享池,每请求上限 655,360,读入块 8192,DFlash2 草稿。代码提示,每请求输出 512 token,greedy,A/A/B/B 交替启动,每次启动 3 次,取中位数。1 用户 299.4 作主值(测于 3,121,152 token 池、读入块 2048);2 / 4 / 8 用户 合计 398.0 / 560.9 / 676.7,不作单流主值。发布配置单次 1 用户 305.3。短提示强制 2048 token decode:prose 125.8,code 287.3,chat 156.1,math 313.8。读入 32K / 128K 为 5,690 / 5,647。旧主值:v1(原版 exllamav3 1.6.4,8-bit KV)代码提示 C=1 233.9(2026-10-24 README,3 次中位数,同一仓库地址);V2 表中 v1 同测为 231.1。作者仓库有方法和中位数表,无逐次原始数据,记为宣称。X 帖 https://x.com/GPTWare/status/2121265574529339808宣称2026-11-13链接
GLM-5.3-Flash未注明2× RTX PRO 6000 Blackwell Max-Q 96GB(限 300W)232复现 MiaAI_lab 配方,散文,温度 0.7,思考开,400 token,2 次平均:300W C1 232;275W(默认)C1 207。聚合(另计)300W C2 329 / C3 384 / C4 442;275W 303 / 360 / 406。C1 首 token 47 ms宣称2026-11-03链接
Ripple-65B Preview未注明1× RTX PRO 6000 Blackwell 96GB135.2LocalMaxxing 验证页(batch 1,温度 0,5 次中位数):代码 135.2,推理 97.9,无 drafter 24.0。tok_s 取代码 135.2宣称2026-11-05链接
DeepSeek-V4.1-FlashTandem-vLLM1× RTX PRO 6000 96GB + EPYC 9534124Tandem-vLLM 0.1.1(vLLM 0.31 专家卸载构建)。引擎作者表:单流 system decode,DSpark k=3 为 124,作主值;无草稿 65 写入本行,不另建条。4/8/32 流无草稿合计 182/284/414,不作单流主值。GPQA 官方 81.3% → VQ 73.2%(FP4_TOP=52 时 76.8%)写入描述。上下文未写,不填。有对照表,无原始日志,降为宣称。2026-11-14 同作者 Tandem-vLLM 0.2.0 帖:同机单卡单用户 GSM8K decode 75.5;帖中未写是否开 DSpark,口径与主值不同,只作备注,不改主值 124。同帖 1 张 RTX PRO 6000 32 流 合计 414。同帖 2 卡 tensor parallel 93.1:2 张 RTX PRO 6000 按当日最低价 $17,496/张 已超过 $30k,未收。https://www.reddit.com/r/LocalLLaMA/comments/1xvjoa7/宣称2026-11-12链接
Recursive Flint 40B-A2.5BvLLMRTX PRO 6000 Blackwell 96GB110单流约 110–180;64 并发峰值约 2,500 合计;作者跑 45 道 LiveCodeBench v6 得 82.2、50 个 SWE-bench Verified 任务得 80(子集,非完整评测)宣称2026-10-22链接
Qwen3.8-27BSGLang1× RTX PRO 6000110SGLang 0.5.19,MiaAI-Lab RTX PRO 6000 配方(配方仓按 DSpark 命名)。同机同量化同引擎,三种草稿合一条。主值取配方默认 DSpark、短提示 prose decode(greedy,3 次中位,512 token)110;同口径 DFlash2 108、无草稿 58 写入本行。短提示 code:DFlash2 171 / DSpark 172;约 29K prose:DFlash2 59 / DSpark 57 / 无草稿 40。上下文配置未写,不填。方法有,无原始日志,降为宣称。宣称2026-11-11链接
GLM-5.3(753B 全量,非 Flash)未注明1× RTX PRO 6000 Blackwell 96GB(约 250GB 卸载到系统内存)45单卡 45 / 预填 1,200;TP2 两卡 62 / 预填 1,600。无官方 drafter。tok_s 取单卡 45宣称2026-11-05链接

数字来自各条来源。本项目未复测。各行的模型与设置不同。来源等级:官方 = 项目方或厂商;实测 = 发帖人亲测(引擎或配方作者须公开原始数据和复现步骤);转述 = 二手;宣称 = 预测或无复现细节。