Kimi K3 开放完整权重后不少人都跃跃欲试。2.8 万亿参数、官方 MXFP4 权重拥有了这些你就可以自己捣鼓这个规模巨大的模型可以部署到本地。现实情况真有这么简单吗有人总结运行 Kimi K3 其实很容易只需要 1.5TB GPU 内存、大约 8 张 H100以及一座小型变电站。很快有人算了一笔账按照这张粗略的成本表如果将大容量 GPU 服务器和供电设施都算进去整套配置可能触及百万美元。这么一看好像已经和我们这些「个人玩家」没什么关系了。也有人不死心开始认真研究能不能通过量化把这个 2.8 万亿参数模型强行塞进个人设备。只不过评论区对此普遍不太乐观。但没想到还真有人在一台ac 上跑起来了。128GB 的 Mac真把 1.6TB 权重塞下了一名开发者拿出一台 128GB 统一内存的 M5 Max直接加载 Kimi K3 发布在 Hugging Face 上的官方 MXFP4 权重。这套权重足足有 1.56TB体积超过设备内存十倍显然无法一次性完整载入。他的办法是让约 97GiB 的静态权重常驻内存其余部分不一次性加载而是在推理过程中从固态硬盘持续读取。模型运行到哪一层对应的权重才被送入内存参与计算。这样一来128GB 内存不需要同时装下整个模型只需要容纳常驻权重和当前参与计算的部分。最终Kimi K3 真的开口了。开发者先问了一句「How are you」模型正常回答「I am fine, thank you」。随后他又让模型解释 Transformer 中的注意力机制Kimi K3 也开始生成回答。但输出速度相当缓慢。测试中模型处理输入的速度约为 0.98 token/s生成速度只有 0.32 token/s。换算下来每生成一个 token 大约需要三秒。一个正常长度的回答可能要等上几分钟。这至少证明了一件事一台只有 128GB 内存的 Mac确实能够以流式读取的方式运行 1.6TB 的 Kimi K3 官方权重。不过这只解决了容量问题。权重需要不断从硬盘搬进内存模型每生成一个 token都要等待大量数据完成读取和计算推理速度自然很难提高。开发者也表示这套方案目前主要用来调通推理图。下一步他准备把模型进一步压缩到 Q2再使用两台各配备 512GB 统一内存的 Mac Studio尝试把速度提升到可以正常聊天的水平。显然如果不想让 Kimi K3 的语速「快得像闪电」——《疯狂动物城》里的那只树懒只用一台 128GB 的 Mac 是不行的。80 张 5090这是真能用继续压缩是不太行了还有人选择把显卡数量提上去。Ning 团队使用 80 张 RTX 5090完整运行了 2.8 万亿参数的 Kimi K3。整套系统由 10 个节点组成每个节点安装 8 张 RTX 5090总显存达到 2.56TB。团队直接使用 Kimi 官方发布的 MXFP4 权重没有进一步量化。在首日测试中Kimi K3 的单流推理速度达到了 20 token/s。相比 Mac 上的 0.32 token/s输出速度提高了六十多倍基本进入可以正常对话的范围。这套方案使用仍然是消费级显卡。RTX 5090 搭载 GDDR7 显存不具备 HBM 和 NVLink10 个节点之间也只通过 25GbE 以太网连接。80 张 5090 提供了 2.56TB 总显存和约 143TB/s 聚合带宽高于 32 张 H100 方案的 107TB/s 和 16 张 B200 方案的 128TB/s。当然聚合带宽无法直接代表整套系统的推理性能多节点通信、算子效率和调度开销都会影响最终速度。即便如此20 token/s 的实测结果已经证明消费级 GPU 集群也能以可用速度运行完整 Kimi K3。团队表示这还只是首日、未经充分优化的结果。此前他们曾将 4090 集群运行 GLM-5.2 的速度从 30 token/s 提升至 110 token/sKimi K3 仍有继续提速的空间。相比传统的数据中心 GPU 方案这条路线降低了对 HBM 和高速互联设备的依赖但 80 张 5090、10 个节点以及配套的网络、供电和散热设施投入依然相当可观。这么看来一台 ThinkPad 确实不可能80 张游戏显卡倒是可以跑。
