6月14日消息,摩尔线程与全学科教育AI大模型“师者AI”联合宣布,双方成功完成了大模型训练测试。师者AI基于摩尔线程夸娥(KUAE)千卡智算集群,顺利完成了其70亿参数大模型的高强度训练测试。这一训练过程历时一周,训练效率达到了预期要求,充分展现了夸娥千卡智算集群作为国产全功能GPU千卡千亿训练平台的强大能力与突出优势。
师者AI自2020年成立以来,依托来自清华大学的核心模型团队,致力于全学科的教育大模型研发。多年来,这个团队在技术研发和模型算法自研方面积累了雄厚的实力。他们基于智谱AI的开源平台,构建了涵盖数学、物理等19个学科的教育大模型。在开放内测阶段,师者AI已经吸引了超过2.5万用户,支持包括30个以上的学科知识和2000本以上的教材。
随着教育大模型技术的快速迭代,摩尔线程和师者AI还计划在大模型推理方面展开适配工作。摩尔线程夸娥方案是业内首个能够完全运行和完成国产大模型训练的千卡集群,基于全功能MTT S4000 GPU,提供了软硬一体化的全栈解决方案。这个方案具备多种核心能力,包括模型覆盖、推理加速、CUDA兼容性、断点续训、分布式训练和集群可靠性等八大核心能力。
摩尔线程夸娥千卡集群此前已经在大模型训推相关领域取得了多项成就。例如,摩尔线程成为业界首家接入无问芯穹,适配无穹Infini-AI大模型开发与服务平台,并完成了LLama2 700亿参数大模型的训练测试。此外,摩尔线程还完成了MT-infini-3B 3亿(30亿参数)规模大模型的训练实测。
在这一合作中,摩尔线程的GPU千卡集群还帮助其他公司完成了多个大语言模型的训练任务。包括羽人科技的70亿参数大语言模型YuRen-7b的训练测试,以及憨猴集团7B、34B、70B不同参数量级大模型的分布式训练。摩尔线程还成功适配并完成了滴普企业大模型Deepexi v1.0的训练和推理工作。
这一合作与测试结果不仅为教育行业用AI技术赋能提供了新的可能性,也展示了国产GPU在大规模AI模型训练中的潜力。未来,随着技术的进一步发展与合作的深化,摩尔线程和师者AI将继续在教育AI领域开拓创新,为更多用户提供更加智能、高效的学习工具和资源。同时,这一合作也将推动整个国产GPU产业链的技术进步与发展,为更多领域的人工智能应用提供坚实的技术支撑。