你将收获

掌握YOLOv8实例分割的ONNX模型转换及TensorRT加速部署方法

学习TensorRT部署的原理

学习ONNX的原理

学习YOLOv8的ONNX及TensorRT加速的代码解析

适用人群

希望学习YOLOv8实例分割模型转ONNX后的TensorRT部署方法的学员

课程介绍

PyTorch版的YOLOv8支持高性能的实时实例分割

TensorRT是针对英伟达GPU的加速工具。

ONNX (Open Neural Network Exchange) 作为一个开放的网络模型中间表示(IR)格式,提供了跨框架兼容性。可以方便不同的框架轻松地交换模型,有助于框架之间的互操作性。

本课程讲述如何对YOLOv8实例分割的PyTorch权重文件转成ONNX格式并进行TensorRT加速部署

相比与直接使用TensorRT API构建推理引擎,本方法更具灵活性,可用于修改YOLOv8网络架构后的模型部署。

课程亮点包括:

  • YOLOv8实例分割的PyTorch权重文件转成ONNX,再转成TensorRT 推理引擎
  • 支持在GPU上端到端TensorRT加速部署,包括预处理(图像resize, 归一化)、网络推理、后处理(非极大抑制) 均在GPU上执行
  • 支持FP16加速
  • 提供C++和Python的TensorRT加速命令接口
  • 分别在Windows和Ubuntu系统上做YOLOv8的ONNX转换及TensorRT部署演示
  • 支持图片、图片文件夹、视频文件的TensorRT的加速推理
  • 提供YOLOv8的ONNX转换及TensorRT加速部署代码和代码解析文档

实测推理速度提高2倍以上。

课程内容包括:

  • 原理篇(YOLOv8网络架构与组件、TensorRT基础、ONNX基础、CUDA编程方法)
  • 实践篇(Windows和Ubuntu系统上的ONNX模型转换及TensorRT加速部署流程演示)
  • 代码解析篇(YOLOv8的ONNX模型转换及TensorRT加速的代码解析) 

课程内容

课程目录