叶帆-LLM关键性能设计及业务实战_2024 全球C++及系统软件技术大会-CSDN在线视频培训

课时介绍

叶帆
腾讯云异构AI研发负责人
演讲主题
LLM关键性能设计及业务实战
TACO-LLM是腾讯云自研的大语言模型推理引擎。经过集团内外部包括微信、代码助手、智能客服、弹幕审核、文档摘要等多个业务场景的打磨，及研发团队极具创新性的独特加速技术的加持，TACO-LLM从并行解码、Prefill优化、量化、长序列等多个方向发力，已基本实现对LLM全应用场景的覆盖，相比社区SOTA性能普遍加速1.5x-3x不等，获得业务的高度认可。本专题将揭开TACO-LLM优秀性能背后的秘密，着重从高性能算子设计的角度来一窥TACO的自研技术。

课程介绍

系统级软件是数字世界的基础设施，C++自1985年由Bjarne Stroustrup博士在贝尔实验室发明以来，一直被誉为系统级编程“皇冠上的明珠”。秉承“全球专家、卓越智慧”的理念，我们特邀全球C++和系统级软件技术领域的大师、专家、学者，汇聚一堂。大会围绕现在C++最佳实践、架构与设计、大模型驱动的软件开发、AI 算力与优化、系统级软件及其他编程语言，深度探讨系统级软件技术领域的最佳工程实践和前沿方法。我们致力于将此次大会打造为系统软件领域规模最大、阵容最强、干货最多的高规格技术盛会！