陈晓涛-跨平台高性能边端AI推理部署框架的应用与实践_高性能框架的应用与实践-CSDN在线视频培训

课时介绍

陈晓涛
美团端侧AI推理优化高级工程师

演讲主题
跨平台高性能边端AI推理部署框架的应用与实践

研究生毕业于国防科技大学计算机学院，一直从事AI推理，量化，训练优化等工作。曾在Intel，图森未来工作，实习，目前在美团从事端侧AI推理优化相关工作。研究生阶段主要做分布式深度学习系统相关研究，对低比特通信，Parameter Server，Horovod，MXNet等框架有深入了解和开发；工作后主要从事AI推理部署优化相关内容，包括：1.推理引擎开发：模型量化（PTQ，QAT），图优化，算子优化等；2.部署框架开发：架构设计，工具开发，服务搭建等。

课程介绍

分布式数据库OceanBase技术架构升级之路

OceanBase 作为一款企业级原生分布式数据库，具备云原生、强一致性、灵活扩展等特性，在此基础上，针对企业场景不断复杂化的问题，OceanBase 技术架构也在不断迭代升级，比如从高并发的 TP 能力扩展到兼顾 TP 和 AP 的 HTAP 能力；从承载百 TB 甚至 PB 的分布式架构进一步演化到单机、主备、分布式三种架构模式，从传统的关系型数据库扩展到多模态场景等等，本次分享将解读 OceanBase 架构升级的背后思考以及技术内幕。

1、OceanBase 13年技术迭代整体回顾

2、OceanBase 3.x 到 4.x 技术升级关键点解读

● 从分布式到单机、主备等架构演变

● 从 TP 到 HTAP

● 传统关系型到多模态

● ....

3、OceanBase 产品规划路线

深度学习作业GPU利用率分析与提升

简介：深度学习在众多智能软件应用中发挥着关键作用。企业开发人员在共享的多租户GPU深度学习平台上提交和运行深度学习作业，以有效地训练和测试模型。但是，某些作业对分配的 GPU 的利用率相当低，导致大量资源浪费并降低开发效率。我们通过对深度学习平台收集的真实作业对低 GPU 利用率问题进行了全面的实证研究，确定了常见的根本原因并提出了相应的非入侵性的通用修复方法，取得了不错的性能提升，同时设计了人工智能模型对GPU利用率进行建模和预测。

跨平台高性能边端AI推理部署框架的应用与实践

简介：在美团诸多业务场景中，从不同业务需求，硬件成本等方面考量，需要在不同硬件上部署各类AI算法。为将算法与底层硬件隔离，使得算法可一键部署到任意硬件，我们设计开发了一款支持多硬件，灵活易用的高性能边端AI推理部署框架，可极大提高了算法部署效率，同时具有高度可扩展性，可持续新增新硬件和推理后端。目前框架支持已支持分类、检测、分割、关键点、OCR等主流视觉任务的AI模型，支持的硬件有：瑞芯微RV1106/RV1126/RK3588，爱芯AX620U/AX650N，全志V851，Android Arm等7大类常见硬件。