调度器实现细节举例 – 用一个GPU完成任意模型的任意次预测_如何从零开始设计与开发一款通用模型预测调度系统-CSDN在线视频培训

课时介绍

本期课程推想科技将分享工程实践中如何解决上述挑战的，并与大家探讨如何从零开始，分析与抽象问题，设计架构，并开发出一个支持任意计算资源限定、任意机器学习框架、任意计算场景的模型预测的解决方案。

课程介绍

机器学习模型从训练导出到生成环境部署，这个过程中涉及大量工作，会面临着各种问题与挑战，比如不断丰富的业务场景，系统需要负载种类繁多的神经网络，预测任务不均匀等，然而企业拥有的计算资源（如GPU个数）是有限的，如何能在有限资源下顺利完成任务，是一个不小的挑战。
同时，医疗AI场景有着其独特的生产环境，本期课程推想科技将分享工程实践中如何解决上述挑战的，并与大家探讨如何从零开始，分析与抽象问题，设计架构，并开发出一个支持任意计算资源限定、任意机器学习框架、任意计算场景的模型预测的解决方案。