这是一部讲解如何基于机器学习技术实现数据缺失值填补的专著,与传统的基于统计学的缺失值填补方法相比,效率上得到了较大的提升。作者基于多年的研究和实践成果,创新性地提出了基于神经网络的缺失值填补方法和基于TS模型的缺失值填补方法。 全书共8章,可分为4个部分。 第壹部分(第1~3章):首先介绍缺失值填补领域的缺失数据机制、基本概念、性能度量等基础知识,随后详细阐述目前基于统计学、机器学习的缺失值填补理论与方法。 第二部分(第4~5章):对目前神经网络在缺失值填补领域的研究成果进行归纳总结,并从网络模型、填补方案角度阐述神经网络填补方法的设计及应用。 第三部分(第6~7章):详细介绍面向不完整数据的TS建模过程,随后通过特征选择算法处理TS建模中的特征冗余问题,并从前提参数优化和结论参数优化两个角度改进TS模型。 第四部分(第8章):以缺失值填补方法在我国贫困问题研究中的应用为例,展现缺失值填补方法的现实意义。

前言 第1章 绪论 1 1.1 缺失值填补的背景与意义 1 1.2 缺失值填补方法的研究现状概述 3 1.2.1 基于统计学的缺失值填补方法 3 1.2.2 基于机器学习的缺失值填补方法 4 1.3 缺失值填补的应用 7 1.4 本章小结 10 参考文献 11 第2章 缺失数据的处理方法 14 2.1 数据缺失机制 14 2.1.1 完全随机缺失 15 2.1.2 随机缺失 15 2.1.3 非随机缺失 16 2.2 缺失数据的处理 17 2.2.1 不做处理 17 2.2.2 不完整样本删除 19 2.2.3 缺失值填补 20 2.3 缺失值填补概述 22 2.3.1 基本概念 22 2.3.2 方法分类 24 2.3.3 性能度量 26 2.4 本章小结 29 参考文献 29 第3章 缺失值填补方法 31 3.1 基于样本间相似度的填补方法 31 3.1.1 均值填补法 31 3.1.2 热平台填补法 34 3.1.3 K*近邻填补法 36 3.1.4 基于聚类的填补方法 39 3.2 基于属性间相关性的填补方法 46 3.2.1 基于线性回归的填补方法 46 3.2.2 基于非线性回归的填补方法 51 3.2.3 基于神经网络的填补方法 54 3.3 基于参数估计的期望*大化填补方法 60 3.3.1 参数估计法 60 3.3.2 期望*大化填补法 63 3.4 针对缺失数据不确定性的填补方法 66 3.4.1 多重填补法 67 3.4.2 基于证据理论的填补方法 72 3.5 本章小结 78 参考文献 79 第4章 面向不完整数据的神经网络填补方法 81 4.1 基于自组织映射网络的填补方法 81 4.1.1 自组织映射网络理论 81 4.1.2 自组织映射网络的缺失值处理 85 4.2 基于单层感知机的填补方法 87 4.2.1 单层感知机理论 87 4.2.2 传统单层感知机的改进 88 4.2.3 单层感知机填补模型 89 4.3 基于多层感知机的填补方法 91 4.3.1 多层感知机理论 91 4.3.2 基于多层感知机集群的填补方法 93 4.3.3 基于多层感知机简化集群的填补方法 95 4.4 基于自编码器及其变体的填补方法 96 4.4.1 基于自编码器的填补法 97 4.4.2 基于径向基函数自编码器的填补法 99 4.4.3 基于广义回归自编码器的填补法 102 4.4.4 基于对偶传播自编码器的填补法 104 4.4.5 基于极限学习机自编码器的填补法 106 4.5 面向不完整数据的属性关联型神经元建模与填补方法 107 4.5.1 基于去跟踪自编码器的填补法 108 4.5.2 基于关联增强型自编码器的填补法 112 4.5.3 基于多任务学习的填补方法 114 4.6 典型神经网络填补模型实验 117 4.6.1 实验设计 118 4.6.2 不同网络模型的填补精度 120 4.6.3 自编码器的自跟踪性 121 4.6.4 去跟踪自编码器的去跟踪性 123 4.7 本章小结 124 参考文献 124 第5章 神经网络填补方法的优化设计 127 5.1 面向不完整数据的代价函数 127 5.2 两阶段式填补方案 131 5.2.1 训练阶段 132 5.2.2 填补阶段 135 5.3 融合式填补方案 143 5.3.1 基于缺失值变量的神经网络动态填补方案 143 5.3.2 缺失值变量与模型参数的动态更新 144 5.3.3 时间复杂度 147 5.4 典型神经网络填补方案实验 149 5.4.1 实验设计 149 5.4.2 不同填补方案的填补精度 152 5.4.3 MVPT填补方案的收敛性 154 5.5 本章小结 155 参考文献 156 第6章 基于TS建模的非线性回归填补法 157 6.1 模糊数学基础 157 6.1.1 模糊数学与模糊集合 157 6.1.2 模糊数学在缺失值填补中的应用 158 6.2 TS模型 159 6.2.1 TS模型基本结构 159 6.2.2 TS模型研究与应用现状 160 6.3 基于TS模型的填补方法 163 6.3.1 基于TS模型的填补方法概述 163 6.3.2 前提参数获取 165 6.3.3 结论参数获取 168 6.3.4 缺失值填补 169 6.4 基于特征选择的TS模型填补法 170 6.4.1 特征选择算法概述 170 6.4.2 基于特征选择的TS模型填补法 177 6.5 TS模型填补方法实验 178 6.5.1 实验设计 178 6.5.2 TS模型与回归模型的填补效果对比 179 6.5.3 特征选择对TS模型拟合精度的影响 181 6.5.4 特征选择对TS模型填补精度的影响 183 6.6 本章小结 186 参考文献 186 第7章 TS模型填补方法的优化设计 188 7.1 面向类不均衡数据的TS模型优化 188 7.1.1 TS模型中的FCM算法 188 7.1.2 FCM算法存在的问题 190 7.1.3 DPC算法 192 7.1.4 类不均衡数据的MDF算法 195 7.1.5 MDF算法实验 196 7.2 基于交替学习策略的TS模型填补方法 204 7.2.1 TS结论参数与填补值的交替学习策略 206 7.2.2 交替学习策略的迭代收敛性 208 7.2.3 交替学习策略下线性回归填补法实验 209 7.2.4 交替学习策略下TS模型填补法实验 210 7.3 本章小结 212 参考文献 212 第8章 基于缺失值填补的中国贫困家庭特征分析 213 8.1 精准扶贫过程中的数据缺失问题 213 8.1.1 我国贫困问题研究 213 8.1.2 中**庭追踪调查中的数据缺失问题 214 8.2 CFPS数据集缺失值填补 216 8.2.1 基于去跟踪自编码器的动态缺失值填补 216 8.2.2 缺失值填补精度 217 8.3 贫困家庭识别 219 8.3.1 多维贫困测度 219 8.3.2 贫困的维度指标及临界剥夺值 220 8.3.3 基于层次分析法的多维贫困指标权重计算 223 8.3.4 CFPS2016数据集的多维贫困家庭识别 227 8.4 基于聚类算法的贫困家庭类别划分 229 8.4.1 层次聚类算法 229 8.4.2 贫困家庭聚类 230 8.5 贫困家庭典型特征分析 232 8.5.1 多重聚类特征选择算法 232 8.5.2 贫困家庭典型特征选择 233 8.6 本章小结 235 参考文献 236