动手学自然语言处理——从入门到精通

“我不能创造的东西，我就不理解”，意思是只有通过动手实践，才能更深入地理解理论。这就是本课程命名为“动手学自然语言处理”的原因。 第1章主要介绍自然语言处理的背景知识，包括自然语言处理的概念、主要研究任务和发展历程。 第2章介绍了深度学习的基础知识，主要包括线性回归模型。逻辑回归模型和常用损失函数的计算。 第3章主要介绍pytorch的使用，包括虚拟环境的管理、张量的创建、运算和常见操作；并基于pytorch框架演示了线性回归、逻辑回归模型的构建、训练和优化过程。 第4章介绍了神经网络的基础知识，主要包括神经网络的概念、前向传播、损失计算、反向传播以及过拟合等内容，使读者对浅层神经网络的运算过程有较为全面的理解。 第5章介绍了文本的语义表示，主要包括文本的预处理、传统的词袋表示、TF-IDF表示以及词的分布式表示，并通过案例演示了词向量的训练过程。 第6章介绍了循环神经网络，首先介绍了RNN、LSTM和GRU神经网络的原理、内部结构和代码实现，然后介绍了基于循环神经网络的人名分类案例，最后介绍了seq2seq神经网络的原理和实现。 第7章介绍了文本处理中的注意力机制，包括非参注意力机制、键值对注意力机制和自注意力机制，并通过英译法案例，介绍了注意力机制在seq2seq神经网络中的具体应用。 第8章介绍了自然语言处理领域最重要的架构Transformer，对其结构进行了解析，并一步一步完成了其代码的实现，并通过具体案例演示了Transformer模型的训练过程。 第9章介绍了huggingface以及预训练语言模型在自然语言处理中的应用，huggingface是一个开源的自然语言处理服务平台，提供了大量的预训练模型、工具和数据集，本章基于bert-base-chinese和hfl/rb3预训练模型完成了情感分类、完型填空和中文命名实体识别等常见的本文处理任务，并对大模型在自然语言处理中的应用进行了展望。