⚡ 本地推理配方

English | 简体中文 | 日本語

Edge0:本地推理速度(tok/s),均有出处

截至 2026-11-14,本数据集中 Edge0 有 10 条配方,发帖人实测 0 条。尚无一手实测,下列数字请按官方、宣称或转述理解。其中 10 条有日期,从 2026-09-08 到 2026-11-12。

在配方库中筛选这些 →

模型引擎硬件tok/s指标来源等级日期来源
Edge0-120Bedge01× RTX 5090 D 24GB130.2Edge0 官方模型卡速度表。Q3_K 版 chat decode 130.2 作主值;agent decode 144.6 另标。同机 NVFP4 版 chat 124.9 / agent 135.5(https://huggingface.co/Edge0/Edge0-120B-NVFP4),只作备注。同卡用 --vram-reserve-mib 8192 与 cgroup 20G 限成 16GiB VRAM + 20GiB RAM 时 Q3_K chat 62.4 / agent 73.3,NVFP4 chat 51.3(模拟预算,不另列)。发布包 model.json 配置 --max-context 131072、--spec 4(MTP)、--kv int8;卡内未写引擎版本,也未写同时处理的请求数。官方数字,无逐次原始数据。官方2026-11-12链接
Edge0-145Bedge01× RTX 5090 D 24GB99.7Edge0 官方模型卡速度表。Q3_K 版 chat decode 99.7 作主值;agent decode 121.2 另标。同机 NVFP4 版 chat 79.6 / agent 98.3(https://huggingface.co/Edge0/Edge0-145B-NVFP4),只作备注。同卡用 --vram-reserve-mib 8192 与 cgroup 20G 限成 16GiB VRAM + 20GiB RAM 时 Q3_K chat 36.8 / agent 44.9(模拟预算,不另列)。发布包 model.json 配置 --max-context 131072、--spec 4(MTP)、--kv int8;卡内未写引擎版本,也未写同时处理的请求数。官方数字,无逐次原始数据。官方2026-11-12链接
Edge0-120Bedge01× RTX 4090 24GB95Edge0 官方模型卡速度表。Q3_K 版 chat decode 95.0 作主值;agent decode 104.9 另标。发布包 model.json 配置 --max-context 131072、--spec 4(MTP)、--kv int8;卡内未写引擎版本,也未写同时处理的请求数。官方数字,无逐次原始数据。官方2026-11-12链接
Edge0-145Bedge01× RTX 4090 24GB69.9Edge0 官方模型卡速度表。Q3_K 版 chat decode 69.9 作主值;agent decode 91.7 另标。发布包 model.json 配置 --max-context 131072、--spec 4(MTP)、--kv int8;卡内未写引擎版本,也未写同时处理的请求数。官方数字,无逐次原始数据。官方2026-11-12链接
Edge0-145Bedge0Apple M2 Ultra(Metal)60.9Edge0 官方模型卡速度表。Q3_K 版 chat decode 60.9 作主值;agent decode 57.0 另标。发布包 model.json 配置 --max-context 131072、--spec 4(MTP)、--kv int8;卡内未写引擎版本,也未写同时处理的请求数。官方数字,无逐次原始数据。卡内注明 M2 Ultra 用 Metal 测得,不表示已有 macOS 发行版。官方2026-11-12链接
Edge0-120Bedge0Apple M2 Ultra(Metal)60.4Edge0 官方模型卡速度表。Q3_K 版 chat decode 60.4 作主值;agent decode 63.0 另标。发布包 model.json 配置 --max-context 131072、--spec 4(MTP)、--kv int8;卡内未写引擎版本,也未写同时处理的请求数。官方数字,无逐次原始数据。卡内注明 M2 Ultra 用 Metal 测得,不表示已有 macOS 发行版。官方2026-11-12链接
Edge0-120Bedge0RTX Spark N1X 60GiB47.2Edge0 官方模型卡速度表。Q3_K 版 chat decode 47.2 作主值;agent decode 68.4 另标。同机 NVFP4 版 chat 45.1 / agent 68.9(https://huggingface.co/Edge0/Edge0-120B-NVFP4),只作备注。发布包 model.json 配置 --max-context 131072、--spec 4(MTP)、--kv int8;卡内未写引擎版本,也未写同时处理的请求数。官方数字,无逐次原始数据。官方2026-11-12链接
Edge0-145Bedge0RTX Spark N1X 60GiB37.7Edge0 官方模型卡速度表。Q3_K 版 chat decode 37.7 作主值;agent decode 36.7 另标。同机 NVFP4 版 chat 40.1 / agent 46.0(https://huggingface.co/Edge0/Edge0-145B-NVFP4),只作备注。发布包 model.json 配置 --max-context 131072、--spec 4(MTP)、--kv int8;卡内未写引擎版本,也未写同时处理的请求数。官方数字,无逐次原始数据。官方2026-11-12链接
Edge0-8B-A1B-previewedge0Mac mini M4 Pro 24GB23.923.9 tok/s 生成;1428 tok/s 读入宣称2026-09-08链接
Edge0-35B-A3B-previewedge0Mac mini M4 Pro 24GB14.914.9 tok/s 生成;140 tok/s 读入宣称2026-09-08链接

数字来自各条来源。本项目未复测。各行的模型与设置不同。来源等级:官方 = 项目方或厂商;实测 = 发帖人亲测(引擎或配方作者须公开原始数据和复现步骤);转述 = 二手;宣称 = 预测或无复现细节。