本书系统地介绍了对新一代人工智能发展起主导作用的深度学习算法的来源、发展现状、工作机理及数学基础等。在此基础上,本书对典型的深度学习算法(如卷积神经网络、图卷积神经网络、循环神经网络、递归神经网络、深度置信网络、生成对抗网络、深度迁移学习等)进行了深入介绍,通过严密的理论推导、各种新型算法的比较,并配合丰富生动的案例讲解,来增强读者对深度学习算法的基本原理、开发方法、应用部署等的全面掌握。本书既具备一定的理论深度,也具有一定的应用高度,不仅可作为高等院校人工智能、智能科学与技术、计算机科学与技术、数据科学与大数据、模式识别与智能系统等专业及相关专业的本科生、研究生的教材,也可作为从事基于深度学习的各类智能化应用的工程技术人员的参考书。

目 录 第1章 概述1 1.1 引言1 1.2 新一代人工智能4 1.3 深度学习7 1.3.1 深度学习的起源7 1.3.2 深度学习的发展7 1.3.3 深度学习的爆发8 1.4 人工智能、机器学习与深度学习的关系9 本章小结13 课后习题13 第2章 深度学习基础知识15 2.1 人工神经网络15 2.1.1 神经元15 2.1.2 感知器16 2.1.3 多层感知器17 2.2 BP算法18 2.2.1 BP算法的基本原理18 2.2.2 激活函数20 2.2.3 梯度下降法22 2.3 深度学习与神经网络26 2.3.1 深度学习的基本思想26 2.3.2 深度学习与神经网络的关系27 2.3.3 深度学习的学习过程27 2.4 深度学习的主要方法29 2.4.1 监督学习29 2.4.2 无监督学习30 2.4.3 半监督学习31 2.4.4 增强学习31 2.4.5 迁移学习33 2.4.6 对偶学习33 2.5 深度学习开源框架与TensorFlow示例34 2.5.1 深度学习开源框架34 2.5.2 TensorFlow与编程示例36 本章小结42 课后习题43 第3章 卷积神经网络44 3.1 卷积神经网络简介44 3.2 卷积层46 3.2.1 卷积层介绍46 3.2.2 TensorFlow实现卷积操作53 3.2.3 激活函数57 3.3 池化层59 3.3.1 池化层介绍59 3.3.2 TensorFlow实现池化操作61 3.4 全连接层62 3.4.1 全连接层介绍62 3.4.2 TensorFlow全连接神经网络的实现65 3.5 经典CNN模型66 3.5.1 AlexNet66 3.5.2 VGGNet67 3.5.3 GoogLeNet68 3.5.4 ResNet70 3.6 CNN的应用领域71 3.6.1 计算机视觉72 3.6.2 自然语言处理76 3.6.3 语音识别78 3.7 CNN应用实例79 3.7.1 手写数字识别79 3.7.2 写诗机器人82 3.7.3 基于GANs生成人脸88 本章小结94 课后习题94 第4章 图卷积神经网络97 4.1 图卷积神经网络的基础97 4.1.1 图的定义97 4.1.2 图节点的表示98 4.1.3 图节点的聚合99 4.1.4 子图级嵌入105 4.1.5 图神经网络的输出106 4.2 基于谱域的图卷积神经网络106 4.2.1 基于Fourier的图上卷积算子的构建106 4.2.2 基于谱图小波变换的图上卷积算子的构建130 4.3 基于空间域的图卷积神经网络142 4.3.1 注意力机制142 4.3.2 图注意力层143 4.3.3 应用案例——GAT145 4.4 基于GCN的图时空网络147 4.4.1 道路图的交通预测147 4.4.2 图的卷积148 4.4.3 STGCN模型148 本章小结150 课后习题150 第5章 循环神经网络和递归神经网络151 5.1 循环神经网络的概念151 5.2 循环神经网络前向计算152 5.3 长短时记忆网络154 5.3.1 LSTM结构154 5.3.2 LSTM前向计算155 5.3.3 实验:利用LSTM模型生成古诗156 5.4 循环神经网络的其他变形及应用159 5.4.1 GRU159 5.4.2 序列到序列模型160 5.4.3 实验:基于Seq2Seq模型的聊天机器人161 5.5 递归神经网络163 5.5.1 递归神经网络的前向计算166 5.5.2 递归神经网络的训练167 5.5.3 权重梯度的计算及权重更新170 本章小结171 课后习题171 第6章 深度置信网络174 6.1 受限玻尔兹曼机174 6.1.1 引言174 6.1.2 玻尔兹曼机174 6.1.3 受限玻尔兹曼机的定义175 6.1.4 RBM参数学习176 6.1.5 RBM模型参数求解177 6.1.6 RBM模型训练算法177 6.1.7 RBM模型评估178 6.2 深度置信网络概述178 6.2.1 引言178 6.2.2 DBN-DNN结构179 6.2.3 模型训练180 6.3 深度置信网络实验183 本章小结191 课后习题191 第7章 生成对抗网络192 7.1 引言192 7.2 GAN原理与模型训练方法193 7.2.1 GAN的工作原理193 7.2.2 GAN的特点及其优缺点193 7.2.3 GAN的基本模型194 7.2.4 GAN模型的挑战194 7.2.5 GAN与Jensen-Shannon散度195 7.2.6 生成器与判别器的网络196 7.3 GAN的模型改进197 7.3.1 WGAN197 7.3.2 WGAN-GP198 7.3.3 LSGAN199 7.3.4 f-GAN199 7.3.5 LS-GAN与GLS-GAN200 7.3.6 EBGAN201 7.3.7 BEGAN202 7.4 GAN的应用模型改进203 7.4.1 CGAN203 7.4.2 InfoGAN204 7.4.3 Pix2Pix205 7.4.4 CycleGAN206 7.4.5 StarGAN207 7.4.6 SRGAN208 7.4.7 DeblurGAN210 7.4.8 AttentiveGAN212 7.5 GAN的应用213 7.5.1 图像领域213 7.5.2 视频领域213 7.5.3 人机交互领域214 7.6 GAN模拟实验214 7.6.1 实验目标214 7.6.2 实验内容214 7.6.3 实验步骤215 7.6.4 实验结果223 本章小结223 课后习题223 第8章 深度迁移学习225 8.1 引言225 8.2 迁移学习的概念与原理226 8.2.1 迁移学习的概念226 8.2.2 迁移学习的原理226 8.3 迁移学习的方法227 8.3.1 基于实例的迁移学习方法228 8.3.2 基于特征的迁移学习方法229 8.3.3 基于模型的迁移学习方法230 8.3.4 基于关系的迁移学习方法230 8.4 深度迁移学习概述231 8.4.1 基于实例的深度迁移学习231 8.4.2 基于映射的深度迁移学习232 8.4.3 基于网络的深度迁移学习232 8.4.4 基于对抗的深度迁移学习233 8.5 深度迁移学习实验233 本章小结238 课后习题238 参考文献239