陈祥麟-Ktransformers：单卡完成千亿参数大模型推理任务_2024 11月全球机器学习大会-北京站-CSDN在线视频培训

课时介绍

陈祥麟
趋境科技研发负责人
演讲主题
Ktransformers：单卡完成千亿参数大模型推理任务
模型效果显著提升，但在部署私有化时，使用效果更好的模型、更低的延迟和更高的吞吐量，往往意味着更高的成本，尤其在类o1应用里，需要不断推理来获得改进最终解决复杂的推理任务。推理成为在大模型落地阶段的核心要素，如何降低推理的成本是解决大模型落地的难题最关键的问题。

课程介绍

自1936年阿兰· 图灵提出「图灵机」以及机器具备「思维」的可能性以来，以机器学习为代表的人工智能经过飞速发展，深刻地改变着我们的世界。Boolan 秉承“全球专家，卓越智慧”的宗旨，特邀近50位技术领袖和行业应用专家，与1000+来自电商、金融、汽车、智能制造、通信、工业互联网、医疗、教育等众多行业的精英参会听众，共同探讨人工智能领域的前沿发展和行业最佳实践。