端侧模型体验指南

下载 Edge0 Chat

下载并导入模型

1. 在 ModelScope 找到模型

   在 ModelScope 搜索 Edge0 或完整型号（如 Edge0-145B-q3k），进入 Edge0 的模型列表。在「模型文件」页确认版本和文件大小。

   打开 Edge0 模型仓库

2. 把模型下载到本地

   选择模型版本145B · Q3_K

   Windows · NVIDIA GPU · CUDA 13查看模型文件

   手动命令行交给 AI 助手下载（Vibe Coding）

   在 Windows 打开 PowerShell，进入要存放模型的目录并确认磁盘空间。已安装 Python 的用户先执行安装命令。

   安装 ModelScope复制安装命令

   python -m pip install -U modelscope

   若 PowerShell 找不到 python，可在已安装 Python 时尝试用 py。安装后运行下载命令，等待文件下载完成。

   下载所选模型复制下载命令

   modelscope download --model Edge0/Edge0-145B-q3k --local_dir "./Edge0-models/Edge0-145B-q3k"

   文件会保存到当前目录下的 Edge0-models 中，各版本使用独立的子目录。

   ModelScope 下载文档

3. 在 Edge0 Chat 中导入模型

   

   

   145B 和 120B 请选择含 model.json 的文件夹。35B 请选择转换完成后的目录。 添加后，在模型列表选择该模型并点击 Load，加载完成后即可开始对话。