国产大模型厂商开源推理框架：单集群日吞吐155万亿词元

技术报告罕见公开了部署账本：基于该框架已实现主力模型的高吞吐、低延迟大规模推理服务，单一集群日服务吞吐量达155万亿词元，整体收入为每卡每小时38美元；框架支持分布式推理、推测解码、结构化输出，并同时兼容海外主流加速卡与国产昇腾平台。

行业观察认为，竞争焦点正从开源权重转向开源全链路基础设施，推理引擎与国产算力深度适配，将加速低成本、自主可控的私有化部署方案成熟。