Strata如何部署GLM-5.3-Flash？Project Maya

项目简介Project Maya 是一个开源的本地大模型推理加速与部署项目。它专门针对 GLM-5.3-Flash一个拥有 3210 亿参数、激活参数约 180 亿的 MoE 混合专家模型进行了全栈定制化优化。该项目旨在让用户在个人或消费级硬件如单张或多张 NVIDIA GPU上私密且高效地运行本需要数据中心级别支持的超大规模 MoE 模型并提供包含推理引擎、API 服务、Web 监控面板及量化工具在内的完整闭环生态。核心功能模型分层推理与多级存储调度自研专用引擎能够根据设备软硬件环境动态将 MoE 模型的专家权重分配在 VRAM显存、RAM内存和 NVMe SSD固态硬盘中并在对话过程中实时调度和移动激活的专家。多模型量化选择提供针对 GLM-5.3-Flash 自研的高精度量化版本如 Maya-S、Maya-S24、Maya-M、Maya-L 等体积覆盖 94.7 GB 至 156.3 GB保持了原 FP8 模型 97.7%~99.2% 的零射击准确率。全兼容 API 服务内置兼容 OpenAI 和 Anthropic如 Claude Code标准接口的 API原生支持工具调用Tool Calls的流式输出。并发请求处理支持最高 8 个并发请求同时处理采用 dense 权重共享读取机制提升多会话或多用户运行时的整体吞吐量。多模态与全功能内置支持图像输入与分析Pictures、可调节的思考层级Thinking levels分为四个级别并内置基于浏览器的前端聊天交互界面与硬件/模型状态实时监控面板Monitor。投机采样加速可选支持外挂 DFlash2 草稿模型Drafter进行投机采样在特定硬件上可进一步提升 12%~44% 的推理速度。技术栈基础推理框架与内核基于 Strata 框架构建并深度集成了 ggml / llama.cpp 的量化格式、CPU 点积内核及 Prompt 路径的 MMQ 内核。特定格式支持吸收了 exllamav3EXL3的格式、码本codebooks及 CPU 专家内核。编程语言C核心推理引擎与构建、Python 3.10环境配置与脚本控制。硬件加速与计算接口NVIDIA CUDA 12.x/13算力 7.0 及以上如 V100、RTX 20 系列及更新显卡针对 AMD 平台提供 ROCm 7实验性支持。构建系统CMake、g。架构分层混合存储架构Maya 放弃了传统将模型全部载入显存的模式采用“显存-内存-固态硬盘”三级动态缓存架构。其引擎通过全自动化硬件测绘硬件度量与校准功能将高频使用的专家Experts锁入 VRAM次高频专家驻留于 RAM其余专家流式存储于高速 NVMe SSD 中随上下文激活状态在三级介质间实时换入换出。前向预测与流式解码保留并适配了原模型的 MTPMulti-Token Prediction模块以实现多 Token 预预测。服务端架构底层推理引擎之上包裹了多协议兼容的 Server 层可同时对外暴露 Web UI 静态资源、OpenAI 标准路由以及 Anthropic 标准路由。亮点与特点极高的硬件利用率与性能在消费级硬件上表现优异4x RTX 4090 下解码速度可达 118 tokens/s单张 RTX 5090 或 RTX 3090 亦能提供 26~30 tokens/s 的实用速度。完全的本地化与隐私性承诺“没有任何数据离开机器”所有计算、量化、监控和日志生成均在本地闭环运行。开箱即用的极简体验提供一键安装脚本./setup.sh 或 START-MAYA.bat具备全自动依赖检查与硬件感知校准功能无需复杂的系统级依赖配置。极高精度的量化保留通过特定的统计数据校准使其自研量化版在大幅压缩体积的同时极好地锁定了原模型的长文本上下文支持高达 1M 窗口与工具调用能力。适用场景个人开发者与独立研究员的本地 AI 实验室适合希望在有限预算或已有消费级显卡如 1-2 张 RTX 3090/4090/5090上调试顶级大语言模型的开发者。代码助手与 Agent 本地后端由于其原生兼容 OpenAI/Anthropic 接口并针对工具调用和前端代码进行了量化校准如 Maya-M 模型非常适合作为 Claude Code 等编码代理的本地高隐私替代后端。局域网/多 Agent 协同高吞吐场景凭借其支持 8 并发--parallel及共享密集权重的特性适合小型团队内部共享单台工作站或运行需要多会话并发的复杂智能体群Agent Swarms。重度隐私及涉密行业数据处理适合金融、医疗、法律等对数据出境、云端隐私极度敏感同时需要超大模型推理能力的行业进行本地私有化概念验证PoC。https://github.com/mw00/project-maya