课程介绍

• 

  李理

  CTO/CIO/技术副总裁/总工程师

  李理，环信人工智能研发中心vp，十多年自然语言处理和人工智能研发经验。主持研发过多款智能硬件的问答和对话系统，负责环信中文语义分析开放平台和环信智能机器人的设计与研发。

• 主题说明

  本课程会介绍最近NLP领域取得突破性进展的BERT模型。首先会介绍一些背景知识，包括Word Embedding、RNN/LSTM/GRU、Seq2Seq模型和Attention机制等。然后介绍BERT的基础Transformer模型，这个模型最初用于机器翻译，但是它提出的Self-Attention被用于替换传统的RNN/LSTM/GRU模型。再然后是介绍BERT出现之前的Universal Sentence Embedding模型，包括ELMo和OpenAI GPT。接着介绍BERT模型是什么，它解决了之前模型的哪些问题从而可以达到这么好的效果。代码分析和案例介绍，通过解决实际问题加深理解

• 适合对象

  需要基本的机器学习和深度学习知识，了解Word Embedding、RNN/LSTM/GRU、Seq2seq模型和Attention机制，了解基本的Python编程技巧的开发者。 课程预备背景知识，必看： http://fancyerii.github.io/2019/03/05/bert-prerequisites/

• 学习要点

  (下方扫码  进学习群：领取人工智能技术资料包,点我领取）

  扫码入群领取人工智能技术资料包！点我领取

  

   

  课程大纲：
  1.. 背景知识
  Word Embedding
  Language Model
  RNN/LSTM/GRU
  Seq2Seq模型
  Attention机制
  
  2. Transformer模型图解
  Self-Attention
  Multi-Head
  Positional Encoding
  代码分析
  
  3. Universal Sentence Embedding
  Skip Thought Vector
  ELMo
  OpenAI GPT
  
  4. BERT
  ELMo和OpenAI GPT的问题
  BERT思想简介
  输入表示
  Mask LM
  Predicting Next Sentence
  Fine-Tuning
  
  5. 代码和实战
  预训练的模型
  Fine-Tuning
  分词问题
  BertModel类
  案例

   

   

• 课时安排

  注：

  1、开课前会有短信提醒或者邮件提醒，还请报名的时候填写正确的手机号码及邮箱地址

  2、开课后2-3个工作日内会上传本节课的视频回放，请无法观看直播视频的同学放心，回放视频不限时观看，届时请到报名页观看回放即可

   

  课程安排如下：

  19:45—20:00  学员提前入场

  20:00—20:45  讲师上课

  20:45—21:00 讲师互动答疑环节