Transformer效率优化_2024 11月全球机器学习大会-北京站-CSDN在线视频培训

大语言模型技术演进

Transformer效率优化

课时介绍

王炳宁  百川智能预训练负责人


演讲主题
Transformer效率优化
最近两年，由ChatGPT引领的大语言模型技术取得了非常大的进展，仅仅依靠下一个单词的预测这种简单的无监督训练方法，在很多任务上大语言模型都达到甚至超过了人类的水平。当前大语言模型效果提升的最重要的原理是Scaling law，即不断扩展模型参数量，不断扩大训练数据量。然而，我们依然能够通过引入一些优化的技术和手段在相同模型尺寸、相同数据量的情况下不断提升模型的效果。现在最新很多小尺寸比如2B 3B的模型已经能超过之前很多百亿甚至几百亿参数的模型效果了。

课程介绍

自1936年阿兰· 图灵提出「图灵机」以及机器具备「思维」的可能性以来，以机器学习为代表的人工智能经过飞速发展，深刻地改变着我们的世界。Boolan 秉承“全球专家，卓越智慧”的宗旨，特邀近50位技术领袖和行业应用专家，与1000+来自电商、金融、汽车、智能制造、通信、工业互联网、医疗、教育等众多行业的精英参会听众，共同探讨人工智能领域的前沿发展和行业最佳实践。