阿里云灵骏真武M890超节点适配2.8万亿参数KimiK3大模型
创始人
2026-07-29 14:06:59
0次
7月28日,阿里云宣布其灵骏真武M890超节点实例已成功适配月之暗面科技推出的2.8万亿参数大模型KimiK3。这一适配基于芯片、推理平台和模型的联合优化,旨在提升模型推理效率。
KimiK3是月之暗面科技的旗舰模型,采用混合专家(MoE)架构,参数规模达到2.8万亿。灵骏真武超节点实例基于平头哥训推一体AI芯片真武M890打造,配备ICNSwitch1.0互联芯片,实现64张M890芯片间800GB/s的All-to-All高速互联,显存规模达到9TB。这一配置使得万亿级MoE模型的EP专家并行通信流量得以在一个高带宽通信域内高效运行,确保Token生成效率。
此外,阿里云、平头哥和Kimi团队在子系统和软件栈层面进行了深度协同,实现了KimiK3模型的Day0适配。真武芯片的T-HeadSAIL软件栈使得Kimi自研的Mooncake推理框架能够“开箱即跑”,而M890的Triton支持则让大量基于Triton编写的自定义算子无需重写,大幅降低了适配工作量。
相关内容