你将收获

掌握YOLOv8目标检测的TensorRT加速和INT8量化部署方法

学习TensorRT及INT8量化部署的原理

学习YOLOv8的TensorRT加速的代码解析

适用人群

希望学习YOLOv8目标检测TensorRT部署方法的学员

课程介绍

PyTorch版的YOLOv8是先进的高性能实时目标检测方法。 TensorRT是针对英伟达GPU的加速工具。

本课程讲述如何使用TensorRT对YOLOv8目标检测进行加速和部署。

  • 采用改进后的tensorrtx/yolov8的代码,使用TensorRT API构建优化推理引擎
  • 支持在GPU上端到端TensorRT加速部署,包括预处理(图像resize, BGR->RGB,归一化)、网络推理、后处理(非极大抑制) 均在GPU上执行
  • 支持FP16和INT8量化加速
  • 提供C++和Python的TensorRT加速命令接口
  • 分别在Windows和Ubuntu系统上做YOLOv8的TensorRT加速和部署演示
  • 支持图片、图片文件夹、视频文件的TensorRT的加速推理
  • 提供YOLOv8的TensorRT加速部署代码和代码解析文档

实测推理速度提高3倍以上,采用INT8量化加速后推理速度更快。RTX 3060 GPU上端到端处理速度约2.5毫秒,INT8量化加速后推理速度可小于2毫秒。

课程内容包括:原理篇(YOLOv8网络架构与组件、TensorRT基础、TensorRT INT8量化、CUDA编程方法)、实践篇(Windows和Ubuntu系统上的TensorRT加速和INT8量化部署演示)、代码解析篇(YOLOv8的TensorRT加速的代码解析) 。本课程提供YOLOv8的TensorRT加速部署代码和代码解析文档。

课程内容

课程目录