又一个“单卡跑大模型”的项目，这次是321B MoE，30+ tokens/s
Project Maya 是一个 MIT 许可、C++ 编写的本地大模型推理引擎。它支持在 GPU 显存、系统内存和 NVMe SSD 三级存储之间动态调度 MoE 专家，让 321B 级 MoE 模型在消费级和二手数据中心硬件上实际运行。
双3090+32G内存跑通GLM-5.3-Flash,320B大模型的门槛被打下来了
先把结果摆出来。8 月底智谱开源的 GLM-5.3-Flash,320B 参数的原生多模态模型,智能指数和 Claude Opus 4.8 一个档位。网上所有部署攻略口径一致:这货 FP8 原版权重 306GB,本地跑要么 8 张 3090,要么 128GB 统一内存的 Mac。
DeepSeek4.1Flash本地72tps，老卡2.7倍
本地跑大模型这条路上，这两天冒出两组挺扎眼的数字：一组把解码速度推到每秒 72 token，另一组显卡一张没换，只换了运行引擎，速度照样往上蹿一大截。两条路子完全不同，一个靠堆机器，一个靠抠细节。
Strata如何部署GLM-5.3-Flash？Project Maya
项目简介Project Maya 是一个开源的本地大模型推理加速与部署项目。它专门针对 GLM-5.3-Flash（一个拥有 3210 亿参数、激活参数约 180 亿的 MoE 混合专家模型）进行了全栈定制化优化。
128GB 电脑也能跑 MiniMax：Maya 自研量化 XS
本地推理项目 Project Maya 更新到了 v1.1.30。版本大约在 10 月 27 日下午 3 点 28 分放出。这一版最抓眼球的，是给 MiniMax-M3.1-Flash 做了 Maya 自己的量化档位，把大模型往「家用大内存电脑也能塞下」又推了一步。
又一个“单卡跑大模型”的项目，这次是321B MoE，30+ tokens/s
亲测，游戏显卡就能跑千亿级 Flash 大模型
一提「本地跑千亿级大模型」，很多人第一反应还是：超算机房、动辄上百 GB 显存、再配一套通用推理框架硬扛。真的只能这样吗？不一定。
双3090+32G内存跑通GLM-5.3-Flash,320B大模型的门槛被打下来了
Maya 一周八连更：完整版 GLM-5.3（7440 亿参数）能跑了
本地推理项目 Project Maya，这一周几乎每天都在发版。从 v1.1.50 到最新的 v1.1.57，北京时间 11 月 3 日 00:43 到 11 月 9 日 20:28，一共八个正式版。最值得先看的是两件事。完整版 GLM-5.