曹州-多元算力时代的大模型并行训推框架的创新与实践_2024 全球C++及系统软件技术大会-CSDN在线视频培训

异构计算

曹州-多元算力时代的大模型并行训推框架的创新与实践

课时介绍

曹州
智源大模型分布式优化系统工程师
演讲主题
FlagScale：多元算力时代的大模型并行训推框架的创新与实践
分为三个场景进行报告，每个场景会按照背景/挑战、解决方案、性能效果的顺序展开深入介绍，三个场景分别为：场景一：在不同芯片上实现高效异构混训；场景二：在算力种类或数量改变时进行自适应训练。场景三：多模态大模型训推加速实践

课程介绍

系统级软件是数字世界的基础设施，C++自1985年由Bjarne Stroustrup博士在贝尔实验室发明以来，一直被誉为系统级编程“皇冠上的明珠”。秉承“全球专家、卓越智慧”的理念，我们特邀全球C++和系统级软件技术领域的大师、专家、学者，汇聚一堂。大会围绕现在C++最佳实践、架构与设计、大模型驱动的软件开发、AI 算力与优化、系统级软件及其他编程语言，深度探讨系统级软件技术领域的最佳工程实践和前沿方法。我们致力于将此次大会打造为系统软件领域规模最大、阵容最强、干货最多的高规格技术盛会！