刘强-NPU性能优化、评估和实践_2024 全球C++及系统软件技术大会-CSDN在线视频培训

AI 算力与优化

刘强-NPU性能优化、评估和实践

课时介绍

刘强
腾讯大数据软硬件协同技术专家
演讲主题
NPU性能优化、评估和实践
在NPU规格定义和架构探索阶段，通过深度学习框架（Pytorch/TensorFlow）中成熟的Trace和Metrics等采样信息构建基于timeline的CPU、GPU和分布式通信的执行路径，结合厂商仿真出的不同算子的workload的执行时间预测NPU的端到端训练性能，弥补互联网企业在早期评估NPU性能出现的偏差和评测手段不足的问题。 通过对NPU计算和存储资源的抽象，屏蔽了不同NPU厂商微架构的实现差异，并探索了基于编译方式实现的硬件抽象的路径。

课程介绍

系统级软件是数字世界的基础设施，C++自1985年由Bjarne Stroustrup博士在贝尔实验室发明以来，一直被誉为系统级编程“皇冠上的明珠”。秉承“全球专家、卓越智慧”的理念，我们特邀全球C++和系统级软件技术领域的大师、专家、学者，汇聚一堂。大会围绕现在C++最佳实践、架构与设计、大模型驱动的软件开发、AI 算力与优化、系统级软件及其他编程语言，深度探讨系统级软件技术领域的最佳工程实践和前沿方法。我们致力于将此次大会打造为系统软件领域规模最大、阵容最强、干货最多的高规格技术盛会！