类ChatGPT微调实战

类ChatGPT微调实战
共20节 823人在学 课程详情
课程目录
讨论留言
  • LLaMA/ChatLLaMA的整体技术架构与代码逐行解读

    • 实战必备 夯实基础:ChatGPT背后的原理解析
    • Meta LLaMA的复现与解读:参数少但多数任务的效果好于GPT3
    • LLaMA的RLHF版:ChatLLaMA(英文版)/ColossalChat/DeepSpeed
  • 各种微调LLaMA:Alpaca、Vicuna、BELLE、中文LLaMA、姜子牙

    • Stanford Alpaca:结合英文语料通过Self Instruct方式微调LLaMA 7B
    • 补充1:Alpaca-LoRA微调过程「使用已清洗的alpaca数据基于LoRA微调LLaMA-7
    • 补充2:7.19发布的更强且可商用的LLaMA 2背后的技术改进与细节
    • 补充3:半小时总结LLaMA 2的技术架构精要(且纠正上个视频中个别不准确的点)
    • Vicuna(shareGPT)、BELLE(self-instruct)、Chinese-LLaM
  • 以ChatGLM2-6B/MOSS/baichuan为例如何训练LLM及调参部署

    • ChatGLM-6B的基座、部署、微调、实现
    • 补充1:ChatGLM-6B推理部署及微调过程
    • 补充2:LLM微调方法总结:Freeze方法/P-Tuning/LoRA及QLoRA
    • 基于MOSS、baichuan7B/13B、ChatGLM2-6B的结构与微调
    • 补充1:Baichuan-7B推理及微调过程
    • 补充2:Baichuan-13B推理及微调过程
    • 补充3:ChatGLM2-6B推理部署及微调过程
    • 补充4:阿里通义千问Qwen-7B的原理及ReAct用法
    • 大语言模型并行训练指南(上)
    • 大模型并行训练指南进阶:深入实战
  • 结合垂域数据或自己的数据定制自己的ChatGPT

    • 如何更好的收集数据、处理数据、利用数据
    • 模型的优化、评估与部署上线
播放页问题反馈
视频学习中有任何产品建议都可由此反
馈,我们将及时处理!

课时介绍

知识点1: Deepspeed主要功能介绍 知识点2: 主流大模型框架横向对比:Deepspeed/Megatron-LM/Colossal-AI/Fairscale 知识点3: 数据并行、切片数据并行(ZeRO)、模型并行、流水线并行、序列并行原理介绍 知识点4: ZeRO系列源码剖析 知识点5: 基于Deepspeed的ZeRO快速实践

课程介绍

推荐课程

信息系统项目管理师自考笔记

李明 · 710人在学

python从0到1:期货量化交易系统(CTP实战,高频及合成K线数据

王先生 · 22070人在学

手把手搭建Java超市管理系统【附源码】(毕设)

汤小洋 · 4198人在学

Java毕设springboot外卖点餐系统 毕业设计毕设源码 使用教

黄菊华 · 786人在学

基于SSM酒店管理系统(毕设)

小尼老师 · 837人在学

java项目实战之购物商城(java毕业设计)

Long · 5151人在学

手把手搭建Java求职招聘系统【附源码】(毕设)

汤小洋 · 1504人在学

Python Django 深度学习 小程序

钟翔 · 2315人在学

城管局门前三包管理系统+微信小程序(vue+springboot)

赖国荣 · 597人在学

Vue+Uni-app(uniapp)入门与实战+赠送仿美团点餐小程序

李杰 · 3979人在学

正在试验
后自动删除环境
课程实验
本次实验时间已到期 00:00:00

    订阅失败

    类ChatGPT微调实战
    类ChatGPT微调实战 ...

    订阅列表已满,请先移出部分订阅内容。

    当前章节需购买后观看
    开通超级会员免费看!专家精选系列课程,满足你从入门到精通!更有问答月卡免费送,你的问题有问必答!
    提交答案

    购买课程

    扫码完成付费,可继续学习全部课程内容

    加载中...
    课件正在飞速打包中,请耐心等待几秒钟~