近年来,基于深度学习方法的自然语言处理(NLP)已逐渐成为主流。本书共8章,主要介绍自然语言处理任务中的深度学习技术,包含深度学习理论基础、深度学习的软件框架、语言模型与词向量、序列模型与梯度消失/爆炸、卷积神经网络在NLP领域的应用、Seq2Seq模型与Attention机制、大规模预训练模型、预训练语言模型BERT,还给出了自然语言处理技术的**应用和开发实例,并收录了基于PyTorch深度学习框架的部分实践项目。 本书既可作为人工智能、计算机科学、电子信息工程、自动化等专业的本科生及研究生教材,也可作为自然语言处理相关领域的研究人员和技术人员的参考资料。

前言 第1章深度学习理论基础 1.1深度学习概况 1.1.1深度学习的历史 1.1.2“无所不能”的深度学习 1.2深度学习神经网络 1.2.1神经网络 1.2.2隐藏层 1.2.3梯度下降 1.2.4激活函数 1.2.5权重初始化 1.2.6正则化 1.2.7归一化 第2章深度学习的软件框架 2.1环境配置 2.1.1Anaconda 2.1.2英伟达GPU驱动 CUDA cuDNN 2.1.3PyTorch安装 2.1.4Python IDE选择 2.2PyTorch 入门 2.2.1Tensor基本概念 2.2.2Tensor的运算 2.3PyTorch自动求梯度 2.3.1基本概念 2.3.2Tensor样例 2.3.3梯度计算 2.4PyTorch nn模块 第3章语言模型与词向量 3.1语言模型 3.1.1无处不在的语言���型 3.1.2神经网络语言模型 3.2词向量 3.2.1one-hot 3.2.2word2vec 3.2.3GloVe 3.3代码实战 3.3.1任务1:应用PyTorch搭建Skip-Gram 3.3.2任务2:基于GloVe的大规模中文语料的词向量训练 第4章序列模型与梯度消失/爆炸 4.1循环神经网络 4.1.1模型结构及计算过程 4.1.2应用PyTorch搭建并训练RNN模型 4.2梯度消失与爆炸 4.2.1产生原因 4.2.2解决方法 4.3改进方法 4.3.1LSTM 4.3.2GRU 4.4代码实战:搭建LSTM/GRU的文本分类器 第5章卷积神经网络在NLP领域的应用 5.1卷积神经网络的概念 5.1.1输入层 5.1.2卷积层 5.1.3池化层 5.1.4全连接层 5.2空洞卷积神经网络 5.2.1空洞卷积的基本定义 5.2.2空洞卷积在NLP中的应用 5.2.3空洞卷积相关代码 5.2.4多层卷积 5.3代码实战:CNN情感分类实战 5.3.1数据处理 5.3.2程序主干部分 5.3.3模型部分 5.3.4模型训练与评估 第6章Seq2Seq模型与Attention机制 6.1Encoder-Decoder结构 6.1.1Encoder 6.1.2Decoder 6.1.3Encoder-Decoder存在的问题 6.2Attention机制 6.3Seq2Seq训练与预测 6.3.1模型训练 6.3.2模型预测 6.3.3BLEU模型评估法 6.4代码实战:应用PyTorch搭建机器翻译模型 第7章大规模预训练模型 7.1ELMo 7.1.1模型结构 7.1.2模型效果 7.1.3ELMo的优点 7.1.4利用ELMo CNN进行分类的示例 7.2Transformer 7.2.1Encoder端及Decoder端总览 7.2.2Encoder端各个子模块 7.2.3Decoder端各个子模块 7.2.4其他模块 7.2.5完整模型 第8章预训练语言模型BERT 8.1BERT的基本概念 8.2BERT的工作原理 8.2.1BERT的预训练 8.2.2BERT模型结构 8.2.3BERT的微调 8.3BERT的可解释性 8.4其他预训练模型 8.4.1XLNet 8.4.2RoBERTa 8.4.3ALBERT 8.5代码实战:预训练模型 参考文献