Transformer原理与代码精讲(PyTorch)

Transformer原理与代码精讲(PyTorch)
共18节 3431人在学 课程详情
  • Transformer原理精讲

    • 注意力机制
    • 自注意力机制
    • Transformer的架构概述
    • Transformer Encoder的多头注意力 (Multi-Head Attention)
    • Transformer Encoder的位置编码(Positional Encoding)
    • Transformer 残差链接、LayerNorm、FFN
    • Transformer Decoder
    • Transformer 训练及性能
    • Transformer机器翻译工作流程
  • Transformer代码精讲(Pytorch)

    • 安装Pytorch
    • Transformer的Encoder代码解读
    • Transformer的Decoder代码解读
    • Transformer的超参设置代码解读
    • Transformer的训练示例(人为随机数据)代码解读
    • Transformer的训练示例(德语-英语机器翻译)代码解读
    • 结合中文注释代码深入解读1
    • 结合中文注释代码深入解读2
  • 课程介绍

    • 课程介绍

    订阅失败

    Transformer原理与代码精讲(PyTorch)
    Transformer原理与代码精讲(PyTorch) ...

    订阅列表已满,请先移出部分订阅内容。

    当前章节需购买后观看
    开通超级会员免费看!专家精选系列课程,满足你从入门到精通!更有问答月卡免费送,你的问题有问必答!
    提交答案

    购买课程

    扫码完成付费,可继续学习全部课程内容

    加载中...
    播放页问题反馈
    视频学习中有任何产品建议都可由此反
    馈,我们将及时处理!

    课时介绍

    代码精讲部分使用Jupyter Notebook对Transformer的PyTorch实现代码进行逐行解读,包括:安装PyTorch/TensorFlow、Transformer的数据集加载与预处理代码解读、Transformer的位置编码与多头注意力代码解读、Transformer的Transformer类代码解读、Transformer的优化器与损失函数代码解读、Transformer的训练代码解读、Transformer的推理与权重保存代码解读。

    课程介绍

    Transformer发轫于NLP(自然语言处理),并跨界应用到CV(计算机视觉)领域。目前已成为深度学习的新范式,影响力和应用前景巨大。

     

     

    本课程对Transformer的原理和PyTorch代码进行精讲,来帮助大家掌握其详细原理和具体实现。

     

     

    原理精讲部分包括:注意力机制和自注意力机制、Transformer的架构概述、Encoder的多头注意力(Multi-Head Attention)、Encoder的位置编码(Positional Encoding)、残差链接、层规范化(Layer Normalization)、FFN(Feed Forward Network)、Transformer的训练及性能、Transformer的机器翻译工作流程。

     

     

     

    代码精讲部分使用Jupyter Notebook对Transformer的PyTorch代码进行逐行解读,包括:安装PyTorch、Transformer的Encoder代码解读、Transformer的Decoder代码解读、Transformer的超参设置代码解读、Transformer的训练示例(人为随机数据)代码解读、Transformer的训练示例(德语-英语机器翻译)代码解读。

    课程内容

    相关课程: 

    《Transformer原理与代码精讲(PyTorch)》https://edu.csdn.net/course/detail/36697

    《Transformer原理与代码精讲(TensorFlow)》https://edu.csdn.net/course/detail/36699

    《ViT(Vision Transformer)原理与代码精讲》https://edu.csdn.net/course/detail/36719

    《DETR原理与代码精讲》https://edu.csdn.net/course/detail/36768

    《Swin Transformer实战目标检测:训练自己的数据集》https://edu.csdn.net/course/detail/36585

    《Swin Transformer实战实例分割:训练自己的数据集》https://edu.csdn.net/course/detail/36586

    《Swin Transformer原理与代码精讲》 https://download.csdn.net/course/detail/37045

    推荐课程

    信息系统项目管理师自考笔记

    李明 · 724人在学

    python从0到1:期货量化交易系统(CTP实战,高频及合成K线数据

    王先生 · 22111人在学

    手把手搭建Java超市管理系统【附源码】(毕设)

    汤小洋 · 4205人在学

    Java毕设springboot外卖点餐系统 毕业设计毕设源码 使用教

    黄菊华 · 788人在学

    基于SSM酒店管理系统(毕设)

    小尼老师 · 842人在学

    java项目实战之购物商城(java毕业设计)

    Long · 5154人在学

    手把手搭建Java求职招聘系统【附源码】(毕设)

    汤小洋 · 1506人在学

    Python Django 深度学习 小程序

    钟翔 · 2319人在学

    城管局门前三包管理系统+微信小程序(vue+springboot)

    赖国荣 · 598人在学

    Vue+Uni-app(uniapp)入门与实战+赠送仿美团点餐小程序

    李杰 · 3985人在学

    正在试验
    后自动删除环境
    课程实验
    本次实验时间已到期 00:00:00
    课件正在飞速打包中,请耐心等待几秒钟~