125B 参数大模型，一张游戏显卡就能跑了

以前这种规模的模型，要么排队用云端 API、要么租一屋子的 A100。现在，你自己的游戏电脑就行。

发生了什么

一个叫 Strata 的开源项目，最近两周在 GitHub 上拿了 近 12000 颗星，Hacker News 也冲到 767 分。

它干的事只有一件：让你在自己的电脑上跑 Qwen3.8 Flash Next——一个 125B（1250 亿）参数的大模型。

125B 是什么概念？大概是目前开源界最聪明的几个模型之一，能写代码、能聊天、能看图理解，之前只有服务器级别的 GPU 才扛得住。

Strata 说：不，你的 RTX 4070 就行。

它有多快

项目方在两张普通游戏显卡上测了（token ≈ ¾ 个英文单词）：

RTX 5070（12GB 显存）：

• 生成回答：53~94 tokens/秒
• 读取你的文档：1620~2650 tokens/秒

RX 9070 XT（16GB 显存，AMD）：

• 生成回答：44~60 tokens/秒

人正常阅读速度大约 4~5 tokens/秒。也就是说，它写字比你读快 10 倍以上。

RTX 4090（24GB）据社区测试能跑到 100~140 tokens/秒。

你要准备什么

	最低要求
显卡	NVIDIA RTX 20/30/40/50 系列，或 AMD RX 7800 XT 及以上，显存 ≥ 12GB
内存	32GB（跑 Coder 版），64GB 跑全量版
硬盘	80GB 空闲（SSD 更好，首次启动快很多）
系统	Windows 10/11 或 Linux

安装只要两步

Windows：下载解压 → 双击 START-HERE.bat

Linux：git clone → ./setup.sh

安装脚本会自动识别你的显卡、推荐合适的模型大小、下载模型（约 70GB）、启动。全程一路回车。

更省事的办法：如果你正在用 Claude Code、Cursor、Codex 这类 AI 编程助手，直接把下面这句话粘贴给它：

Set up Strata on this PC for me: https://github.com/Niko1221/Strata

它会自己帮你检查硬件、选模型、安装、启动。

跑起来后，浏览器打开 http://127.0.0.1:8080 就能用。所有数据都在本地，不上网。

能干什么

• 当编程助手：它有专门的 Coder 版（砍掉一半非代码能力，32GB 内存就够跑），代码能力达到完整版的 91%
• 当聊天伙伴：125B 参数的对话质量，和云端 API 版本几乎没有区别
• 理解图片：拍张照片丢给它，能识别内容、提取信息
• 接入你的工具：它提供兼容 OpenAI 的本地 API，你的 AI 应用可以直接调用

什么场景该用 / 别用

✅ 适合你如果：

• 你有一张 12GB 以上显存的游戏显卡
• 你在乎隐私——所有计算在你自己的电脑上，数据不出门
• 你想零成本玩大模型——MIT 开源，完全免费
• 你想给自己的 AI 应用接一个本地后端，不用付 API 费用
• 你受够了 API 限速、排队、涨价

❌ 不适合如果：

• 你的显卡低于 12GB 显存（虽然项目方说老卡也能跑，但体验会差很多）
• 你只需要简单问答——小模型或云端 API 更快启动
• 你不想占 80GB 硬盘空间
• 你主要用中文聊天——Coder 版对中文弱一些，需要选全量版（64GB 内存起步）

一句话

两年前跑 70B 模型还要两张 3090，现在 125B 一张 5070 就够了。不是模型变小了，是跑模型的方法变聪明了。

---

项目地址：github.com/Niko1221/Strata · MIT 开源 · C++