本书是关于神经网络的经典教材，完整、详细地讨论了各个主题，且包含了相关的计算机实验。全书共15章，主要内容包括神经网络的定义、Rosenblatt感知器、回归建模、小均方算法、多层感知器、核方法和径向基函数网络、支持向量机、正则化理论、主成分分析、自组织映射、信息论学习模型、源于统计力学的随机方法、动态规划、神经动力学、动态系统状态估计的贝叶斯滤波、动态驱动递归网络。本书适合高等院校计算机、电子信息、软件工程、智能工程等专业的高年级本科生和研究生学习使用，也可供相关领域的技术人员参考。

第0章 导言 1 0.1 什么是神经网络 1 0.2 人脑 6 0.3 神经元模型 10 0.4 视为有向图的神经网络 15 0.5 反馈 18 0.6 网络架构 21 0.7 知识表征 24 0.8 学习过程 34 0.9 学习任务 38 0.10小结 45 注释和参考文献 46 第1章 Rosenblatt感知器 47 1.1 引言 47 1.2 感知器 48 1.3 感知器收敛定理 50 1.4 高斯环境下感知器与贝叶斯分类器的关系 55 1.5 计算机实验：模式分类 60 1.6 批量感知器算法 62 1.7 小结和讨论 65 注释和参考文献 66 习题 66 第2章 回归建模 68 2.1 引言 68 2.2 线性回归模型：初步考虑 69 2.3 参数向量的后验估计 71 2.4 正则化小二乘估计和MAP估计的关系 76 2.5 计算机实验：模式分类 77 2.6 小描述长度原则 79 2.7 有限样本量考虑 82 2.8 辅助变量法 86 2.9 小结和讨论 88 注释和参��文献 89 习题 89 第3章 小均方算法 91 3.1 引言 91 3.2 LMS算法的滤波结构 92 3.3 无约束优化：综述 94 3.4 维纳滤波器 100 3.5 小均方算法 102 3.6 描述LMS算法和维纳滤波器的偏差的马尔可夫模型 104 3.7 朗之万方程：布朗运动的特点 106 3.8 库什纳直接平均法 107 3.9 小学习率参数的统计LMS学习理论 108 3.10 计算机实验I：线性预测 110 3.11 计算机实验II：模式分类 112 3.12 LMS算法的优缺点 113 3.13 学习率退火过程 115 3.14 小结和讨论 117 注释和参考文献 118 习题 119 第4章 多层感知器 122 4.1 引言 123 4.2 预备知识 124 4.3 批量学习和在线学习 126 4.4 反向传播算法 129 4.5 异或问题 141 4.6 提升反向传播算法性能的启发式方法 144 4.7 计算机实验：模式分类 150 4.8 反向传播与微分 153 4.9 海森矩阵及其对在线学习的作用 155 4.10 学习率的退火和自适应控制 157 4.11 泛化 164 4.12 函数逼近 166 4.13 交叉验证 171 4.14 复杂度正则化和网络剪枝 175 4.15 反向传播学习的优缺点 180 4.16 视为优化问题的监督学习 186 4.17 卷积网络 201 4.18 非线性滤波 203 4.19 大小规模学习问题 209 4.20 小结和讨论 217 注释和参考文献 219 习题 221 第5章 核方法和径向基函数网络 230 5.1 引言 230 5.2 模式可分性的Cover定理 231 5.3 插值问题 236 5.4 径向基函数网络 239 5.5 均值聚类 242 5.6 权重向量的递归小二乘估计 245 5.7 RBF网络的混合学习过程 249 5.8 计算机实验：模式分类 250 5.9 高斯隐藏单元的说明 252 5.10 核回归及其与RBF网络的关系 255 5.11 小结和讨论 259 注释和参考文献 261 习题 263 第6章 支持向量机 268 6.1 引言 268 6.2 线性可分模式的超平面 269 6.3 不可分模式的超平面 276 6.4 视为核机器的支持向量机 281 6.5 构建支持向量机 284 6.6 异或问题 286 6.7 计算机实验：模式分类 289 6.8 回归：鲁棒性考虑 289 6.9 线性回归问题的解 293 6.10 表示定理和相关问题 296 6.11 小结和讨论 302 注释和参考文献 304 习题 307 第7章 正则化理论 313 7.1 引言 313 7.2 哈达玛适定性条件 314 7.3 Tikhonov的正则化理论 315 7.4 正则化网络 326 7.5 广义径向基函数网络 327 7.6 再论正则化小二乘估计 331 7.7 关于正则化的其他说明 335 7.8 正则化参数估计 336 7.9 半监督学习 342 7.10 流形正则化：初步考虑 343 7.11 可微流形 345 7.12 广义正则化理论 348 7.13 图谱论 350 7.14 广义表示定理 352 7.15 拉普拉斯正则化小二乘算法 354 7.16 半监督学习的模式分类实验 356 7.17 小结和讨论 359 注释和参考文献 361 习题 363 第8章 主成分分析 367 8.1 引言 367 8.2 自组织原则 368 8.3 自组织特征分析 372 8.4 主成分分析：微扰理论 373 8.5 基于Hebb的特征滤波器 383 8.6 基于Hebb的主成分分析 392 8.7 案例分析：图像编码 398 8.8 核主成分分析 401 8.9 自然图像编码的基本问题 406 8.10 核Hebb算法 407 8.11 小结和讨论 412 注释和参考文献 415 习题 418 第9章 自组织映射 425 9.1 引言 425 9.2 两个基本特征映射模型 426 9.3 自组织映射 428 9.4 特征映射的性质 437 9.5 计算机实验I：利用SOM求解点阵动力学 445 9.6 上下文映射 447 9.7 分层向量量化 450 9.8 核自组织映射 454 9.9 计算机实验II：使用核SOM求解点阵动力学 462 9.10 核SOM与KL散度的关系 464 9.11 小结和讨论 466 注释和参考文献 468 习题 470 第10章 信息论学习模型 475 10.1 引言 476 10.2 熵 477 10.3 熵原则 481 10.4 互信息 484 10.5 KL散度 486 10.6 Copula函数 489 10.7 作为待优化目标函数的互信息 493 10.8 互信息原理 494 10.9 互信息与冗余减少 499 10.10 空间相干特征 501 10.11 空间非相干特征 504 10.12 独立成分分析 508 10.13 自然图像的稀疏编码与ICA编码比较 514 10.14 独立成分分析的自然梯度学习 516 10.15 独立成分分析的似然估计 526 10.16 盲源分离的熵学习 529 10.17 独立成分分析的负熵的化 534 10.18 相干独立成分分析 541 10.19 率失真理论与信息瓶颈 549 10.20 数据的流形表示 553 10.21 计算机实验：模式分类 560 10.22 小结和讨论 561 注释和参考文献 564 习题 572 第11章 源于统计力学的随机方法 579 11.1 引言 580 11.2 统计力学 580 11.3 马尔可夫链 582 11.4 Metropolis算法 591 11.5 模拟退火 594 11.6 吉布斯采样 596 11.7 玻尔兹曼机 598 11.8 逻辑置信网络 604 11.9 深度置信网络 606 11.10 确定性退火 610 11.11 确定性退火与期望化算法的类比 616 11.12 小结和讨论 617 注释和参考文献 619 习题 621 第12章 动态规划 627 12.1 引言 627 12.2 马尔可夫决策过程 629 12.3 贝尔曼性准则 631 12.4 策略迭代 635 12.5 值迭代 637 12.6 近似动态规划：直接法 642 12.7 时序差分学习 643 12.8 Q学习 648 12.9 近似动态规划：间接法 652 12.10 小二乘策略评估 655 12.11 近似策略迭代 660 12.12 小结和讨论 663 注释和参考文献 665 习题 668 第13章 神经动力学 672 13.1 引言 672 13.2 动力系统 674 13.3 平衡状态的稳定性 678 13.4 吸引子 684 13.5 神经动力学模型 686 13.6 作为一个递归网络范式的吸引子操作 689 13.7 Hopfield模型 690 13.8 Cohen-Grossberg定理 703 13.9 盒中脑状态模型 705 13.10 奇异吸引子与混沌 711 13.11 混沌过程的动态重建 716 13.12 小结和讨论 722 注释和参考文献 724 习题 727 第14章 动态系统状态估计的贝叶斯滤波 731 14.1 引言 731 14.2 状态空间模型 732 14.3 卡尔曼滤波器 736 14.4 发散现象与平方根滤波 744 14.5 扩展卡尔曼滤波器 750 14.6 贝叶斯滤波器 755 14.7 容积卡尔曼滤波器：基于卡尔曼滤波器 759 14.8 粒子滤波器 765 14.9 计算机实验：扩展卡尔曼滤波器与粒子滤波器的比较 775 14.10 脑功能建模中的卡尔曼滤波 777 14.11 小结和讨论 780 注释和参考文献 782 习题 784 第15章 动态驱动递归网络 790 15.1 引言 790 15.2 递归网络架构 791 15.3 逼近定理 797 15.4 可控性和可观察性 799 15.5 递归网络的计算能力 804 15.6 学习算法 806 15.7 时间反向传播 808 15.8 实时递归学习 812 15.9 递归网络中的梯度消失 818 15.10 使用非线性序列状态估计的递归网络的监督训练框架 822 15.11 计算机实验：Mackay-Glass吸引子的动态重建 829 15.12 适应性考虑 831 15.13 案例分析：应用于神经网络控制的模型参考 833 15.14 小结和讨论 835 注释和参考文献 839 习题 842 参考文献 847