两年前，70B参数的大模型需要两张3090才能跑得动。今天，125B参数的模型一张5070就能跑——模型变大了，硬件却变少了。

是谁在背后做了这件事？

答案不是模型公司，是"跑模型的人"。

---

第一幕：llama.cpp（2023年3月）

2023年3月，Georgi Gerganov把LLM推理搬到了C/C++里。

之前跑大模型需要什么？CUDA、PyTorch、一堆依赖，显存不够就崩。llama.cpp的做法很简单：把模型量化成4位精度，用纯C++跑推理。

核心突破：量化不是妥协，是工程。

4位量化让模型体积缩小到原来的1/4，精度损失小到几乎感知不到。更重要的是，它让"在普通电脑上跑大模型"从梦想变成了可能。

GitHub Stars：13万+

---

第二幕：vLLM（2023年2月）

llama.cpp让本地跑得动，vLLM让服务端跑得快。

vLLM的杀手锏是PagedAttention——借鉴操作系统虚拟内存的思想，把KV缓存切成页，按需分配。这解决了大模型推理的最大瓶颈：显存碎片化。

之前服务端并发推理，每个请求都要预留固定显存，浪费严重。vLLM让实际使用的显存动态调整，吞吐量提升了数倍。

核心突破：把操作系统的智慧，搬到了AI推理上。

GitHub Stars：9万+

---

第三幕：SGLang（2024年1月）

vLLM解决了"跑得快"，SGLang解决的是"跑得灵活"。

SGLang的核心创新是RadixAttention——把KV缓存做成树状结构，相同前缀的请求可以共享缓存。这意味着批量推理时，重复计算被极大减少。

更关键的是，SGLang把"编程式推理"变成了可能：你可以写一段Python代码，让模型在执行过程中多次调用工具、做中间推理。这是Agent能力的底层支撑。

核心突破：推理引擎不只是加速，而是可编程的执行环境。

GitHub Stars：3.7万+

---

第四幕：Strata（2026年9月）

2026年9月，一个名为Strata的项目在GitHub上爆火——125B参数的模型，一键安装在消费级显卡上。

这不是技术创新，是前三个幕的集大成：llama.cpp的量化思路、vLLM的显存管理、SGLang的灵活性，全部打包成一个"一键安装"的产品。

核心突破：把专业门槛压到零，让"跑大模型"像装软件一样简单。

GitHub Stars：2万+（上线两周）

---

总结：谁在推动这个进步？

不是OpenAI，不是Google，是一群"让模型跑得更好"的工程师。

阶段	核心贡献	关键思想
llama.cpp	量化推理	小精度≠低质量
vLLM	显存优化	按需分配，消除碎片
SGLang	可编程推理	树状缓存，Agent友好
Strata	一键部署	技术民主化

每次进步，都是同一个公式：同样的模型，更少的硬件。

这不是模型在进步，是跑模型的方法在进步。

---

一句话

两年后回头看，70B模型需要两张3090这件事，听起来就像现在看"拨号上网需要1分钟"一样不可思议。