摩尔线程首个千卡KUAE智算中心落地

据摩尔线程官网消息，12月19日，摩尔线程首个全国产千卡千亿模型训练平台——摩尔线程KUAE智算中心揭幕仪式在北京成功举办，宣告国内首个以国产全功能GPU为底座的大规模算力集群正式落地。与此同时，摩尔线程联合国内众多合作伙伴发起并成立了“摩尔线程PES - KUAE智算联盟”和“摩尔线程PES - 大模型生态联盟”，共同夯实从智算基础设施到大模型训练与推理的国产大模型一体化生态，持续为我国大模型产业发展加速。

据官方介绍，摩尔线程KUAE智算中心解决方案以全功能GPU为底座，是软硬一体化的全栈解决方案，包括以KUAE计算集群为核心的基础设施、KUAE Platform集群管理平台以及KUAE ModelStudio模型服务，旨在以一体化交付的方式解决大规模GPU算力的建设和运营管理问题。该方案可实现开箱即用，大大降低传统算力建设、应用开发和运维运营平台搭建的时间成本，实现快速投放市场开展商业化运营。

摩尔线程KUAE支持包括DeepSpeed、Megatron-DeepSpeed、Colossal-AI、FlagScale在内的业界主流分布式框架，并融合了多种并行算法策略，包括数据并行、张量并行、流水线并行和ZeRO，且针对高效通信计算并行和Flash Attention做了额外优化。

目前，摩尔线程支持包括LLaMA、GLM、Aquila、Baichuan、GPT、Bloom、玉言等各类主流大模型的训练和微调。基于摩尔线程KUAE千卡集群，70B到130B参数的大模型训练，线性加速比均可达到91%，算力利用率基本保持不变。