145B 智能体，在一张消费级 GPU 上运行。Edge0-145B 采用潜空间稀疏 MoE 架构，将大模型能力带到本地，为智能体与编程任务提供支持。模型包含 48 层、每层 512 个专家，每个 token 激活 10 个路由专家和 1 个共享专家，共激活 10.12B 参数；支持 256K 上下文，并采用原生 4 位训练。在 RTX 5090 D 24 GB 上，NVFP4 构建版本实现 98.3 tok/s 智能体解码和 3165.7 tok/s 16K 预填充，Terminal-Bench 2.1 得分为 86.5。
Edge0-145B
145B 智能体，在一张消费级 GPU 上运行
模型概览
Edge0-145B 将潜空间 MoE、长上下文和本地推理结合。模型权重磁盘占用为 47.79 GiB；启用驻留后，在 RTX 5090 D 24 GB 上使用 23.25 GiB 显存和 38.27 GiB 主机内存。
层数48
潜空间宽度1792
每层专家512 × 10 激活
上下文长度256K
参数量 · 原生 4-bit 训练145B
98.3 tok/s 智能体解码
3165.7 tok/s 16K 预填充
测试设备：RTX 5090 D 24 GB · 单卡 · NVFP4
能力评测测得结果
Terminal-Bench 2.186.5
DeepSWE 1.164.6
GPQA-Diamond90.4
AA-LCR79.3
16K 预填充3165.7 tok/s
智能体解码98.3 tok/s
Q3_K 权重磁盘占用40.81 GiB
NVFP4 权重磁盘占用47.79 GiB
图 1：模型概览。吞吐量测试采用 RTX 5090 D 24 GB，16K 预填充为 16K token 输入。
Edge0 基准评测表现
六个模型，六项基准评测。评分统一采用 0–100 刻度，分数越高越好；DeepSWE 1.1 未提供 Claude-Opus-4.6（Max）的结果。
Edge0-145BEdge0-120BQwen3.8-Flash-NextQwen3.8-27BDeepSeek-V4-Flash-0731Claude-Opus-4.6 (Max)
智能体与编程
DeepSWE 1.1
Terminal-Bench 2.1
通用推理与知识
HLE
GPQA-Diamond
IFBench
AA-LCR
图 2：六个模型在六项基准上的评测结果；未提供的结果不以零分绘制。数据来自技术团队提供的模型资料。
推理速度
吞吐量以 tok/s 表示，按硬件和构建版本分组。上方摘要采用 RTX 5090 D 24 GB 上 NVFP4 的测试结果。
完整速度表
浅灰色背景标出本模型详情页对应的 NVFP4 构建版本。
| 硬件 | 构建版本 | 4K 预填充 | 16K 预填充 | 对话解码 | 智能体解码 |
|---|---|---|---|---|---|
| RTX 5090 D 24 GB | Q3_K | 2169.9 | 3554.9 | 99.7 | 121.2 |
| RTX 5090 D 24 GB | NVFP4 | 1839.6 | 3165.7 | 79.6 | 98.3 |
| RTX 4090 24 GB | Q3_K | 2042.0 | 3179.4 | 69.9 | 91.7 |
| RTX Spark N1X 60 GiB | Q3_K | 674.0 | 770.3 | 37.7 | 36.7 |
| RTX Spark N1X 60 GiB | NVFP4 | 821.2 | 922.4 | 40.1 | 46.0 |
| Apple M2 Ultra (Metal) | Q3_K | 755.6 | 800.3 | 60.9 | 57.0 |
| 16 GiB VRAM + 20 GiB RAM | Q3_K | 249 | 335 | 36.8 | 44.9 |
测试条件
16 GiB VRAM + 20 GiB RAM 的测试同样使用 RTX 5090 D 24 GB，通过 cgroup 将预算限制为 16 GiB 显存和 20 GiB 系统内存，并非使用另一张显卡。启用驻留后，Q3_K 构建（权重体积 40.81 GiB）占用 23.14 GiB 显存和 31.28 GiB 主机内存；NVFP4 构建（权重体积 47.79 GiB）占用 23.25 GiB 显存和 38.27 GiB 主机内存。显存与主机内存中的专家集合互不重叠，没有重复计量。
NVFP4 构建暂无 16 GiB VRAM + 20 GiB RAM 预算下的测试结果。Apple M2 Ultra 测速采用 Metal，测试结果不代表当前已提供 macOS 发布版本。
应用演示
从本地对话和编程，到视频制作、三维场景与 PCB 设计，查看 Edge0-145B 的实际应用。
模型架构
图 3：Edge0-145B 模型架构与专家路由。图中的节点、连接和说明沿用开发提供的架构图，点击可查看原尺寸。
| 组件 | Edge0-145B |
|---|---|
| 总参数量 | 145B · 每个 token 激活 10.12 B 参数 |
| 层数 | 48 · 混合注意力，每 4 层使用一次完整注意力 + 稀疏索引器 |
| 专家 | 每层 512 个，每个 token 激活 10 个路由专家 + 1 个共享专家，SwiGLU 宽度为 640 |
| 专家池 | 84.6 B 参数，潜空间宽度 ℓ = 1792 |
| PLE | 51.2 B n-gram 嵌入表，fp8，采用内存映射 |
| MTP 预测头 | 1.26 B 草稿模型，512 个专家，用于推测解码 |
| 上下文 | 256K · KV 使用 int8，驻留窗口为 32K |
| 构建版本 | Q3_K 40.81 GiB · NVFP4 47.79 GiB |
左侧：模型实际执行的完整流程——token 嵌入、48 层混合注意力、最终归一化和 lm_head。右侧：展开后的单层结构。注意力模块在完整的 2560 维空间中读写。随后，D 将各路由组中的 token 投影至 ℓ 维，路由器从 512 个专家中选择 10 个；每个专家执行 ℓ → 640 → ℓ 变换，共享专家同时运行，最后由 U 将合并结果投影回 2560 维。
专家池之外的部分始终保持 2560 维；D 和 U 在层内共享，每层各一份。只有 512 个专家在 ℓ 维空间中工作。因此，每个专家都对应一条固定为 1,630,720 B 的记录：引擎让数千个专家驻留显卡，其余专家从主机内存流式载入。相应开销取决于驻留专家的数量，而非模型总规模。
快速上手
每个模型文件夹（Q3_K 或 NVFP4，Edge0-145B 或 Edge0-120B）都可通过 Edge0 的 edge0-infer 运行，既可使用命令行，也可使用 Edge0 Chat 桌面应用。请保持文件夹结构不变：edge0-infer 根据其中 model.json 的 model_name 识别模型。
平台与文档说明
构建说明适用于 Linux 或 Windows（x64 或 ARM64）上的 NVIDIA GPU，使用 CUDA 13。Apple M2 Ultra 测速采用 Metal；这些测量结果不代表当前已提供 macOS 发布版本。
构建与命令行说明
1. 构建。克隆仓库，然后分别构建以下两部分：
git clone https://github.com/Edge0-AI/Edge0.git edge0- edge0-strata 引擎：参照 edge0-strata/EDGE0.md 中的 Linux / NVIDIA 构建章节（“Build (Linux, NVIDIA)”）或 Windows / NVIDIA 构建章节（“Build (Windows, NVIDIA)”）。
- edge0-infer：参照 edge0-infer/docs/getting-started.md 中的 Linux 构建章节（“Build”）或 Windows 章节（“Windows”）。
2. 从命令行运行。传入单个模型文件夹，例如 Edge0-145B-NVFP4，不要传入包含多个模型的上级文件夹。Windows 上的程序路径为 build\windows\bin\edge0-infer.exe。
build/cpu/bin/edge0-infer serve --model /path/to/Edge0-145B-NVFP4权重加载完成后，程序会输出 Listening: http://127.0.0.1:8000 model=<name>，其中 <name> 为 edge0_145b，随后提供兼容 OpenAI 和 Anthropic 的接口：
curl localhost:8000/v1/chat/completions -H 'content-type: application/json' -d '{"model":"edge0_145b","messages":[{"role":"user","content":"hi"}],"max_tokens":64}'也可以使用 edge0-infer chat --model /path/to/Edge0-145B-NVFP4 打开交互式会话。更多选项见：edge0-infer/docs/edge0-145b.md。
桌面应用 · Windows
在 Windows 上打开 Edge0 Chat，选择模型文件夹（例如 Edge0-145B-NVFP4），即可在本地运行模型。如需从源码构建应用，请参阅 Edge0 Chat 指南。
致谢与许可
感谢 Qwen3.8-Flash-Next 和 Strata 团队向社区分享他们的工作。Edge0 在 Strata 引擎基础上扩展了潜空间 MoE 支持，并以 Apache 2.0 许可证发布。