张辰-摩尔线程全功能GPU大规模语言模型分布式训练性能优化探索_2025 4月全球机器学习技术大会-上海站-CSDN在线视频培训

分会场-D

张辰-摩尔线程全功能GPU大规模语言模型分布式训练性能优化探索

课时介绍

摩尔线程资深算法工程师
在大模型训练的浪潮中，国产全功能GPU的分布式训练能力正迎来前所未有的突破。摩尔线程 AI Infra 组深耕大语言模型训练技术近三年，在 CLUE 评测中跻身 Top 10，成功适配几乎所有主流模型训练框架，并构建国产大规模显卡集群，借助 FP8 加速，达成业界顶级水平 MFU。同时，我们率先完成 DeepSeek 模型的高效适配，实现卓越的训练性能。在本次演讲中，我们将深入剖析国产全功能GPU在大模型训练中的兼容性优势，分享从 Dense 模型到 MoE 模型 优化的核心实践，并探讨国产 AI 计算硬件在未来大规模训练中的突破方向，为开发者提供实战经验与深度思考。 

课程介绍

自1936年阿兰· 图灵提出「图灵机」以及机器具备「思维」的可能性以来，以机器学习为代表的人工智能经过飞速发展，深刻地改变着我们的世界。CSDN & Boolan 秉承“全球专家，卓越智慧”的宗旨，特邀近50位技术领袖和行业应用专家，与1000+来自电商、金融、汽车、智能制造、通信、工业互联网、医疗、教育等众多行业的精英参会听众，共同探讨人工智能领域的前沿发展和行业最佳实践。