章程瑞东、姜慧强-如何在高度并行化的设备上利用大模型的稀疏性进行优化

AI 算力与优化

课时介绍

章程瑞东、姜慧强
微软亚洲研究院研发工程师
演讲主题
如何在高度并行化的设备上利用大模型的稀疏性进行优化
漫长的训练与推理过程及其带来的高昂算力成本是当前大语言模型推广所面临的主要挑战之一。大量研究显示，大语言模型的计算负荷呈现出高度稀疏化的特点，这为降低算力成本提供了一定契机。然而，以 GPU 为代表的并行计算基础设施在执行稀疏计算时存在明显的效率问题，如何在并行计算设备上实现高效的稀疏计算是一个普遍存在的难题，稀疏计算的需求对传统的算子编程范式和模型编译系统也提出了新的挑战。

课程介绍

系统级软件是数字世界的基础设施，C++自1985年由Bjarne Stroustrup博士在贝尔实验室发明以来，一直被誉为系统级编程“皇冠上的明珠”。秉承“全球专家、卓越智慧”的理念，我们特邀全球C++和系统级软件技术领域的大师、专家、学者，汇聚一堂。大会围绕现在C++最佳实践、架构与设计、大模型驱动的软件开发、AI 算力与优化、系统级软件及其他编程语言，深度探讨系统级软件技术领域的最佳工程实践和前沿方法。我们致力于将此次大会打造为系统软件领域规模最大、阵容最强、干货最多的高规格技术盛会！

2024 全球C++及系统软件技术大会

课时介绍

课程介绍