国内GPU与AI技术再次突破!30亿参数大模型实训顺利完成


5月27日,摩尔线程与无问芯穹联合宣布,双方圆满完成了MT-infini-3B大模型的实训。这次实训是基于摩尔线程国产全功能GPU MTT S4000组成的千卡集群,并在无问芯穹的AIStudio PaaS平台上进行的。这一成就不仅验证了夸娥千卡智算集群在大模型训练场景下的可靠性,还开创了国产大语言模型和国产GPU千卡集群深度合作的新范式。

历时13.2天,整个MT-infini-3B模型的训练过程稳定无中断,达到100%的训练稳定性。相比单机训练模式,千卡集群的扩展效率超过90%。这种高效的计算能力使得MT-infini-3B模型在C-Eval、MMLU和CMMLU等多个测试集上均表现优异,相比国际主流硬件(如NVIDIA)的训练结果,性能更为突出。

摩尔线程作为第一家接入无问芯穹并进行千卡级别大模型训练的国产GPU公司,夸娥千卡集群已与无问芯穹的Infini-AI平台顺利完成系统级融合适配。不久前,这一集群还成功完成了LLama2 700亿参数大模型的训练测试。MT-infini-3B的训练,是在行业内首次实现基于国产GPU芯片的端到端大模型实训案例,这对于国内GPU与AI技术的发展具有重大里程碑意义。

无问芯穹正在致力于打造“M种模型”和“N种芯片”之间的“M x N”中间层产品,旨在实现各种大模型算法在多元芯片上的高效、统一部署。目前,这一目标已与摩尔线程达成深度战略合作。不仅如此,国内另一家科技巨头憨猴集团也在摩尔线程的夸娥千卡集群支持下,成功完成了7B、34B和70B不同参数量级的大模型分布式训练。双方在训练过程中达成了战略合作,经过严苛测试后,训练环境兼容适配程度高,训练效率达到了预期,精度也完全符合要求,全程稳定无故障。

这一系列成就表明,中国在大规模模型训练领域不仅具备了强大的硬件支持,还拥有了完善的软件生态和解决方案。摩尔线程和无问芯穹的合作示范了国产GPU在大模型实训中的高效性和可靠性,为我国人工智能技术的进一步发展奠定了坚实基础。

未来,随着摩尔线程和无问芯穹的战略合作更加深入,他们有望在大模型实训和多元芯片高效部署方面实现更多突破,为全球人工智能技术的进步贡献新的力量。国内技术力量的崛起,将为企业和研究机构提供更多选择和更强的支持,释放出前所未有的产业潜力。

相关新闻