大模型核心技术精讲：从原理、训练微调、强化学习RLHF+PPO代码实践

一、购课送配套清华大学出版社教材【纸质正版《GPT多模态大模型与AI Agent智能体》】

购买此课程的用户赠送陈敬雷老师清华大学出版社正版纸质书籍《GPT多模态大模型与AI Agent智能体》！购买后加陈敬雷老师微信chenjinglei66领取。

二、课程优势

本课程有陈敬雷老师的清华大学出版社配套新书教材《GPT多模态大模型与AI Agent智能体》（跟我一起学人工智能）。

新书配合此实战课程结合学习，一静一动，互补高效学习！

本课程由互联网一线知名大牛陈敬雷老师全程亲自授课，技术前沿热门，是真正的互联网工业级实战项目。

三、课程简介

当DeepSeek、 GPT-4/5、Sora 等大语言模型、多模态大模型持续引爆 AI 领域，你是否渴望看透技术本质、掌控发展脉络？这门聚焦大模型技术原理的课程，将为你搭建从基础到前沿的完整知识框架，助你在 AI 浪潮中站稳脚跟。

课程核心亮点：从根源到前沿，锻造硬核 AI 技能

1.技术本源深度挖掘

追溯大模型技术起源与发展思想，通过代码实践具象化理论，解析 Transformer 预训练语言模型的底层架构，让你明白大模型 “能做事” 的根本原因。

对比不同技术路径的优劣，掌握大模型从基础构建到功能实现的核心逻辑。

2.实战能力层层递进

系统学习 Prompt 提示词工程的理论与实践，结合指令微调技术，学会用精准指令激发大模型潜能，实现场景化高效应用。

深入人类反馈强化学习领域，掌握DeepSeek训练微调、马尔科夫决策过程、PPO 算法，通过 RLHF+PPO 代码实战，让模型输出更贴合人类需求。

3.前沿趋势精准把握

解析 GPT 智能涌现原理，弄懂思维链、上下文学习能力等 “智能表现” 的成因，前瞻通用人工智能（AGI）的发展方向，提前布局技术高地。

4.课程模块详解：体系化学习，收获明确

     模块  | 核心内容  | 学习收益

1.1 大模型技术的起源、思想及代码实践

核心内容：介绍大模型技术的发展历程、核心思想，搭配相关代码实操演练
    
学员收益：理清大模型技术的来龙去脉，通过代码实践将抽象思想转化为具体认知

1.2 基于 Transformer 的预训练语言模型

核心内容：详解 Transformer 架构的构成、工作原理及在预训练语言模型中的应用

学员收益：掌握 Transformer 架构的核心知识，理解预训练语言模型的构建基础

1.3 Prompt 提示词学习工程理论与实践
    
核心内容：阐述 Prompt 提示词工程的理论知识，结合实际案例进行实践操作

学员收益：学会设计高质量 Prompt，有效提升大模型的响应效果和任务完成度

1.4 指令微调理论与实践

核心内容：讲解指令微调的基本原理、实施步骤和相关技巧，进行实践训练    

学员收益：掌握指令微调方法，使大模型能更好地适配特定场景和任务

1.5 人类反馈强化学习
    
核心内容：介绍人类反馈强化学习的概念，解析马尔科夫决策过程的原理及应用

学员收益：学员将掌握人类反馈强化学习核心概念，理解马尔科夫决策过程原理与应用，提升对智能系统通过人类反馈优化决策的认知，为相关技术实践奠定基础。

1.6 PPO 强化学习算法
    
核心内容：深入讲解 PPO 算法的原理、数学推导和实现过程

学员收益：熟练掌握 PPO 算法，为开展强化学习相关工作奠定坚实基础

1.7 大模型人类反馈强化学习对齐    

核心内容：探讨大模型与人类反馈强化学习对齐的原则、方法和挑战    

学员收益：学会使大模型的行为符合人类价值观和需求，提升模型的可靠性

1.8 人类反馈强化学习 RLHF+PPO 代码实践

核心内容：结合具体案例，进行 RLHF 与 PPO 结合的代码编写和实操练习

学员收益：通过实战掌握 RLHF+PPO 的应用，提升用代码优化大模型的能力

1.9 GPT 智能涌现原理与 AGI 通用人工智能通讲

核心内容：解析 GPT 智能涌现的原理，全面讲解 AGI 通用人工智能的相关知识

学员收益：理解 GPT 智能涌现的本质，对 AGI 有系统且深入的认识

1.10 什么是智能涌现

核心内容：阐释智能涌现的定义、特征、产生条件和表现形式

学员收益：明确智能涌现的概念，理解大模型能力突然提升的关键所在

1.11 思维链

核心内容：讲解思维链的概念、作用机制和在大模型中的应用方式

学员收益：掌握利用思维链提升大模型推理能力的方法

1.12 上下文学习能力

核心内容：分析大模型上下文学习能力的原理、影响因素和提升技巧    

学员收益：理解大模型上下文学习的本质，学会充分利用该能力提升模型表现

1.13 指令理解

核心内容：探讨大模型指令理解的机制、常见问题及优化方法

学员收益：提升大模型对复杂指令的理解准确度，增强模型的实用性

1.14 通用人工智能AGI

核心内容：介绍通用人工智能的概念、发展现状、关键技术和未来趋势

学员收益：全面了解通用人工智能，把握其发展方向，为相关研究和应用做准备

1.15 基于Unsloth的DeepSeek训练微调核心工具

核心内容：基于 Unsloth 对 DeepSeek 模型，优化训练效率与内存占用，适配多场景部署，支持灵活导出与定制。    

学员收益：掌握高效微调 DeepSeek 的方法，降低硬件门槛，提升模型落地能力，助力科研与企业应用。

1.16 DeepSeek-R1训练微调代码实践

核心内容：DeepSeek-R1高效训练微调，结合医学 COT思维链 数据集，实操 LoRA、量化压缩，实现专业领域推理大模型问答全流程。

学员收益：快速掌握数据处理到部署全流程，攻克大模型微调痛点，获得医学垂类模型训练实战能力。然后举一反三，相同代码可以应用到其他行业。​

为什么选择这门课程？四大核心优势

权威性与实用性兼具：作者陈敬雷深耕 AI 领域多年，课程内容基于《GPT 多模态大模型与 AI Agent 智能体》一书，结合京东图书配套视频，理论与实践深度结合。

理论与实战紧密融合：每个知识点都配套代码实践，从原理理解到动手操作无缝衔接，避免 “纸上谈兵”，学完就能上手应用。

内容全面且聚焦核心：覆盖大模型技术全链条关键内容，不冗余、不零散，直击技术核心，让学习更高效。

紧跟技术发展步伐：聚焦 GPT、AGI 等前沿热点，解析最新技术现象与原理，确保所学内容不过时，贴合行业发展需求。

适合人群：

人工智能开发者、学习者，想系统掌握大模型技术原理与实践技能；

企业技术人员，需规划大模型应用与开发方向，推动业务落地；

高校师生、科研人员，从事大模型相关研究，寻求理论与实践结合的学习资源；

对 AI 技术充满热情，希望紧跟前沿，提升自身竞争力的职场人士。

四、老师介绍

陈敬雷  充电了么创始人，CEO兼CTO

陈敬雷，北京充电了么科技有限公司创始人，CEO兼CTO，十几年互联网从业经验，曾就职于用友、中软、凡客、唯品会、猎聘网、人民日报(灵思云途)、北京万朝科技，曾任架构师、首席技术官、首席科学家等职务，对业务领域B端、C端、电商、职场社交招聘、内容文娱、营销行业都有着丰富的经验，在技术领域，尤其在大数据和人工智能方向有丰富的算法工程落地实战经验，其中在猎聘任职期间主导的推荐算法系统项目获得公司优秀项目奖，推荐效果得到5倍的提升。

此外，陈敬雷著有清华大学出版社四本人工智能书籍，分别是《分布式机器学习实战》《自然语言处理原理与实战》《GPT多模态大模型与AI Agent智能体》《DeepSeek大模型与具身智能实践》，颇受好评。同时陈敬雷还是知名大数据人工智能讲师，研发了上百门课程，总计有30万学员。

五、《GPT多模态大模型与AI Agent智能体》书籍配套视频课程介绍：

陈敬雷老师的京东自营书名标题： GPT多模态大模型与AI Agent智能体（跟我一起学人工智能）
《GPT多模态大模型与AI Agent智能体》（跟我一起学人工智能）是一本2025年清华大学出版社出版的图书，作者是陈敬雷，本书深入探讨了GPT多模态大模型与AI Agent智能体的技术原理及其在企业中的应用落地。

全书共8章，从大模型技术原理切入，逐步深入大模型训练及微调，还介绍了众多国内外主流大模型。LangChain技术、RAG检索增强生成、多模态大模型等均有深入讲解。对AI Agent智能体，从定义、原理到主流框架也都进行了深入讲解。在企业应用落地方面，本书提供了丰富的案例分析，如基于大模型的对话式推荐系统、多模态搜索、NL2SQL数据即席查询、智能客服对话机器人、多模态数字人，以及多模态具身智能等。这些案例不仅展示了大模型技术的实际应用，也为读者提供了宝贵的实践经验。

本书适合对大模型、多模态技术及AI Agent感兴趣的读者阅读，也特别适合作为高等院校本科生和研究生的教材或参考书。书中内容丰富、系统，既有理论知识的深入讲解，也有大量的实践案例和代码示例，能够帮助学生在掌握理论知识的同时，培养实际操作能力和解决问题的能力。通过阅读本书，读者将能够更好地理解大模型技术的前沿发展，并将其应用于实际工作中，推动人工智能技术的进步和创新。

六、整体书籍及配套课程大纲目录：

配套视频课程完整目录

第1章  大模型技术原理
1.1  大模型技术的起源、思想及代码实践
1.2  基于Transformer的预训练语言模型
1.3  Prompt提示词学习工程
1.4  指令微调及代码实践
1.5  人类反馈强化学习|马尔科夫决策过程
1.6  PPO强化学习算法
1.7  大模型人类反馈强化学习对齐
1.8  GPT智能涌现原理与AGI通用人工智能通讲
1.9  什么是智能涌现
1.10  思维链
1.11  上下文学习能力
1.12  指令理解
1.13  通用人工智能

第2章  大模型训练及微调
2.1  大模型训练通讲
2.2  分布式训练的并行策略
2.3  主流并行计算框架
2.4  预训练模型的压缩
2.5  8位/4位量化压缩实战
2.6  大模型主流微调方法通讲
2.7  Prefix Tuning微调
2.8  P-Tuning V1微调
2.9  P-Tuning V2微调
2.10  LoRA微调
2.11 QLoRA微调
2.12  基于旋转位置编码RoPE的长文本理解

第3章  DeepSeek大模型核心技术
3.1  DeepSeek模型架构
3.2  DeepSeek训练基础设施通讲    
3.3  DeepSeek计算集群    
3.4  DeepSeek自研HAI-LLM训练框架    
3.5  DeepSeek FP8训练    
3.6  DeepSeek推理与部署    
3.7  DeepSeek预训练算法及策略    
3.8  DeepSeek后训练之监督微调    
3.9  DeepSeek后训练之 强化学习    
3.10  DeepSeek-R1推理能力强化技术解读    
3.11  DeepSeek-R1-Zero：基于基础模型的强化学习    
3.12  DeepSeek-R1：冷启动强化学习    
3.13  DeepSeek-R1知识蒸馏：赋予小模型推理能力    
3.14  原生稀疏注意力（NSA）技术    
3.15  FlashMLA技术解析    
3.16  DeepEP通信库技术原理    
3.17 DeepEP通信库使用指南    
3.18 DeepEP通信库应用代码示例    
3.19  高效矩阵乘法库DeepGEMM    
3.20  双向流水线并行算法DualPipe深入分析    
3.21  专家并行负载均衡器EPLB深入分析    
3.22  萤火文件系统3FS    
3.23  轻量级分布式数据处理框架Smallpond    
3.24  DeepSeek-V3/R1推理系统架构及核心策略    
3.25  DeepSeek技术优势解读    

第4章  主流大模型    
4.1  国内大模型通讲    
4.2  智谱清言ChatGLM    
4.3  百川智能    
4.4  百度文心一言    
4.5  阿里通义千问    
4.6  腾讯混元    
4.7  华为盘古    
4.8  360智脑    
4.9  科大讯飞星火    
4.10  智源悟道大模型    
4.11  月之暗面Kimi    
4.12  复旦大学MOSS    
4.13  零一万物    
4.14  抖音豆包大模型    
4.15  DeepSeek    
4.16  国外大模型通讲    
4.17  OpenAI GPT-4o    
4.18  Meta LLaMA     
4.19  Anthropic Claude    
4.20  Google Gemini和开源Gemma    
4.21  Mistral Large    
4.22  xAI Grok    
4.23  垂直类大模型通讲    
4.24  HuatuoGPT    
4.25  BianQue    
4.26  BenTsao    
4.27  XrayGLM    
4.28  DoctorGLM    
4.29  ChatMed    
4.30  度小满轩辕
4.31  BloombergGPT
4.32  LaWGPT
4.33  LexiLaw
4.34  Lawyer LLaMA
4.35  ChatLaw
4.36  ChatGLM-Math

第5章  LangChain与LangGraph技术原理与实践
5.1  LangChain技术原理
5.2  LangChain六大核心模块    
5.3 LangChain代码实践
5.4  LangGraph通讲    
5.5  LangGraph技术原理    
5.6  基于DeepSeek大模型的LangGraph代码实践    
5.7  LangGraph Studio    

第6章  RAG检索增强生成    
6.1  RAG技术原理通讲    
6.2  RAG的概念与应用    
6.3  RAG技术架构    
6.4  分块和矢量化    
6.5  搜索索引    
6.6  重新排序和过滤    
6.7  查询转换与路由    
6.8  RAG中的Agent智能体    
6.9  响应合成器    
6.10  大模型微调和RAG优劣势对比    
6.11  文本向量模型通讲    
6.12  Embedding模型、Reranker模型以及ColBERT模型    
6.13  阿里巴巴GTE向量模型    
6.14  中文acge_text_embedding模型    
6.15  智源中英文语义向量模型BGE    
6.16  Moka开源文本嵌入模型M3E    
6.17  OpenAI的text-embedding模型    
6.18  向量数据库通讲    
6.19  Faiss    
6.20  Milvus    
6.21  Pinecone    
6.22  Chroma    
6.23 RAG应用实践通讲
6.24  基于大模型构建企业私有数据的知识问答应用开发代码实践    
6.25  应对大模型落地挑战的优化策略    
6.26  主流开源RAG项目通讲    
6.27  RAGFlow    
6.28  LlamaIndex结合DeepSeek实践    
6.29  GraphRAG    

第7章  多模态大模型    
7.1  多模态基础模型通讲    
7.2  多模态对齐、融合和表示    
7.3  CLIP    
7.4  BLIP    
7.5  BLIP-2    
7.6  InstructBLIP和X-InstructBLIP    
7.7  SAM    
7.8  OpenFlamingo    
7.9  VideoChat    
7.10  PaLM-E    
7.11  OpenAI多模态大模型DALL·E 3、GPT-4V、GPT-4o、Sora通讲    
7.12  文生图多模态大模型DALL·E 3    
7.13  GPT-4V    
7.14  端到端训练多模态大模型GPT-4o技术原理    
7.15  文生视频多模态大模型Sora    
7.16  通义千问多模态大模型    
7.17  开源Qwen-VL和Qwen-VL-Chat    
7.18  Qwen-VL-Plus和Qwen-VL-Max    
7.19  开源端到端训练多模态大模型LLaVA通讲    
7.20  LLaVA    
7.21  LLaVA1.5     
7.22  LLaVA1.6    
7.23  MoE-LLaVA    
7.24  LLaVA-Plus    
7.25  Video-LLaVA和LLaVA-NeXT-Video    
7.26  零一万物多模态大模型Yi-VL系列    
7.27  Yi-VL系列模型架构    
7.28  Yi-VL系列模型训练微调及推理    
7.29  清华系多模态大模型    
7.30  VisualGLM-6B    
7.31  CogVLM2    
7.32  CogAgent    
7.33  CogView、CogVideo和CogVideoX    
7.34  CogCoM    
7.35  GLM-4V-9B    

第8章  AI Agent智能体    
8.1  AI Agent智能体技术原理及架构    
8.2  主流大模型Agent框架通讲    
8.2.1  AutoGPT    
8.2.2  MetaGPT    
8.2.3  ChatDev    
8.2.4  AutoGen    
8.2.5  FastGPT    
8.2.6  XAgent    
8.2.7  GPT-engineer    
8.2.8  BabyAGI    
8.2.9  SuperAGI    
8.2.10  CrewAI    
8.2.11  Manus通用AI智能体    
8.2.12  开源OpenManus通用AI智能体    

第9章  DeepSeek大模型应用落地实践    
9.1  DeepSeek部署实践    
9.1.1  Ollama本地部署DeepSeek大模型    
9.1.2  基于vLLM本地部署企业级DeepSeek    
9.1.3  基于Unsloth的DeepSeek训练微调及本地运行    
9.2  Dify应用程序集成DeepSeek    
9.2.1  接入DeepSeek大模型    
9.2.2  构建应用程序    
9.2.3  知识库管理    
9.2.4  工作流开发    
9.2.5  工具插件    
9.2.6  日志及监测    
9.3  基于DeepSeek工作流应用场景开发实践    
9.3.1  智能客服/知识问答助手开发    
9.3.2  销量预测场景开发    
9.3.3  工业生产设备预测性维护开发    

第10章  大模型企业应用落地    
10.1  基于大模型的对话式推荐系统    
10.1.1  基于大模型的对话式推荐系统技术架构设计    
10.1.2  推荐AI Agent智能体    
10.1.3  面向推荐的语言表达模型    
10.1.4  知识插件    
10.1.5  基于大模型的推荐解释    
10.1.6  对话式推荐系统的新型评测方法    
10.2  多模态搜索    
10.2.1  多模态搜索技术架构设计    
10.2.2  多模态搜索关键技术    
10.2.3  多模态实时搜索与个性化推荐    
10.3  基于自然语言交互的NL2SQL数据即席查询    
10.3.1  NL2SQL数据即席查询技术原理    
10.3.2  NL2SQL应用实践    
10.4  基于大模型的智能客服对话机器人    
10.4.1  大模型智能客服对话机器人技术原理    
10.4.2  AI大模型赋能提升智能客服解决率新策略    
10.4.3  基于大模型的智能客服对话机器人系统搭建    
10.5  多模态数字人    
10.5.1  多模态数字人技术原理    
10.5.2  三维建模与三维重建    
10.5.3  数字人形象设计技术原理    
10.5.4  唇形同步算法    
10.5.5  NeRF、ER-NeRF与RAD-NeRF模型    
10.5.6  数字人项目实践    
10.6  多模态具身智能    
10.6.1  多模态具身智能概念及技术路线    
10.6.2  多模态感知与场景理解    
10.6.3  视觉导航    
10.6.4  世界模型    
10.6.5  具身智能模拟器    
10.6.6  多模态多感官交互具身智能大模型    
10.6.7  端到端强化学习人形机器人    
10.6.8  多模态通才具身智能体    

七、名人点评

《GPT多模态大模型与AI Agent智能体》是一本深入浅出的人工智能领域专著。全书系统阐述了多模态大模型的技术原理、训练微调方法，以及AI Agent智能体的构建、大模型企业应用落地。内容全面详实，案例丰富，既适合专业人士深化研究，也适合初学者建立知识体系。书中对前沿技术的探讨，如多模态大模型和具身智能，展现了人工智能发展的广阔前景，是一本不可多得的参考书籍。
——陈兴茂  猎聘CTO

这是一本极具深度和广度的专业书籍，从大模型技术原理的细致剖析到各种主流模型的全面介绍，再到实际的企业应用落地场景，每一章都干货满满。它不仅适合专业的研究人员深入探索，也能让普通读者对这一前沿领域有清晰的认知，是人工智能领域不可多得的佳作。
——张志平博士  北京中交兴路信息科技股份有限公司副总裁

本书全面深入地剖析了大模型技术原理、训练及应用，内容丰富，理论与实践相结合。书中详细介绍了多模态大模型和AI Agent智能体的最新进展，对推动我国人工智能领域的发展具有很高的参考价值。这本书是AI领域研究者和技术爱好者的必备之作，值得一读！
——梅一多博士  上海市青年拔尖人才，中关村科学城城市大脑股份有限公司高级技术总监

这是一本极具前瞻性的书籍，它紧跟时代的步伐，对最新的技术和模型进行了深入的研究和分析。无论是多模态大模型的创新，还是AI Agent智能体的发展趋势，都有精彩呈现。书中还展示了大模型在企业中的应用案例，如对话式推荐系统、多模态搜索、NL2SQL、智能客服对话机器人、多模态数字人、多模态具身智能等。无论是技术新手还是资深专家，都能从中获得宝贵的洞见和灵感。
——杨正洪博士  中央财经大学财税大数据实验室首席科学家

《GPT多模态大模型与AI Agent智能体》是一本深入浅出地探讨了人工智能领域前沿技术的书籍。它不仅详尽地介绍了大模型的训练和微调，还涵盖了多模态模型和智能体的创新应用。书中丰富的案例和实践指导，为AI技术爱好者和专业人士提供了宝贵的资源和启发，是理解AI发展和应用的必读之作。
——沈亮  美团技术专家