裴芝林-AI编译器在大模型场景下探索和实践_2024 全球C++及系统软件技术大会-CSDN在线视频培训

课时介绍

裴芝林
上海人工智能实验室训练框架及编译计算负责人
演讲主题
AI编译器在大模型场景下探索和实践
近年来，大语言模型的兴起对硬件资源的计算和存储能力提出了极大的挑战，AI训练的规模，从单机单卡开始，经过单机多卡，再到小规模多机集群，已经进入到大规模分布式集群时代。本演讲关注在现有技术背景下，探索通过AI编译器技术栈，支持分布式训练和推理系统，依赖系统化操作来保证越来越大的模型在分布式系统上高效的运行。

课程介绍

系统级软件是数字世界的基础设施，C++自1985年由Bjarne Stroustrup博士在贝尔实验室发明以来，一直被誉为系统级编程“皇冠上的明珠”。秉承“全球专家、卓越智慧”的理念，我们特邀全球C++和系统级软件技术领域的大师、专家、学者，汇聚一堂。大会围绕现在C++最佳实践、架构与设计、大模型驱动的软件开发、AI 算力与优化、系统级软件及其他编程语言，深度探讨系统级软件技术领域的最佳工程实践和前沿方法。我们致力于将此次大会打造为系统软件领域规模最大、阵容最强、干货最多的高规格技术盛会！