本书解释了数据科学中至关重要的统计学概念，并介绍了如何将各种统计方法应用于数据科学。作者以通俗易懂、分门别类的方式，阐释了统计学中与数据科学相关的关键概念，并解释了各统计学概念在数据科学中的重要性及有用程度。第 2 版在第 1 版的基础上加入了更多以Python 和 R 编写的示例，更清楚地阐释了如何将统计方法用于数据科学。

目录 第 1章 探索性数据分析 1 1.1 结构化数据的要素 2 1.2 矩形数据 4 1.2.1 数据框和索引 5 1.2.2 非矩形数据结构 6 1.2.3 扩展阅读 6 1.3 位置估计 6 1.3.1 均值 8 1.3.2 中位数和健壮的估计 9 1.3.3 示例：人口和谋杀率的位置估计 10 1.3.4 扩展阅读 11 1.4 变异性估计 11 1.4.1 标准差以及相关估计 13 1.4.2 基于百分位数的估计 14 1.4.3 示例：美国各州人口数量的变异性估计 15 1.4.4 扩展阅读 16 1.5 探索数据分布 16 1.5.1 百分位数与箱线图 17 1.5.2 频数表和直方图 18 1.5.3 密度图和密度估计 20 1.5.4 扩展阅读 22 1.6 探索二元数据和分类型数据 22 1.6.1 众数 24 1.6.2 期望值 24 1.6.3 概率 25 1.6.4 扩展阅读 25 1.7 相关性 25 1.7.1 散点图 28 1.7.2 扩展阅读 29 1.8 探索两个及以上的变量 29 1.8.1 六边形分箱图和等高线图（绘制数值型数据之间的关系） 30 1.8.2 两个分类变量 32 1.8.3 分类型数据和数值型数据 33 1.8.4 多个变量的可视化 35 1.8.5 扩展阅读 37 1.9 小结 37 第 2 章 数据与抽样分布 39 2.1 随机抽样和样本偏差 40 2.1.1 偏差 42 2.1.2 随机选择 43 2.1.3 数量和质量：什么时候数量更重要 44 2.1.4 样本均值与总体均值 45 2.1.5 扩展阅读 45 2.2 选择偏差 45 2.2.1 均值回归 46 2.2.2 扩展阅读 48 2.3 统计量的抽样分布 48 2.3.1 **极限定理 51 2.3.2 标准误差 51 2.3.3 扩展阅读 52 2.4 Bootstrap 方法 52 2.4.1 重抽样与Bootstrap 方法 55 2.4.2 扩展阅读 55 2.5 置信区间 55 2.6 正态分布 57 2.7 长尾分布 60 2.8 学生的t 分布 62 2.9 二项分布 64 2.10 卡方分布 67 2.11 F 分布 68 2.12 泊松及其相关分布 68 2.12.1 泊松分布 69 2.12.2 指数分布 69 2.12.3 估计故障率 70 2.12.4 韦布尔分布 70 2.12.5 扩展阅读 71 2.13 小结 71 第3 章 统计实验与显著性检验 72 3.1 A/B 测试 73 3.1.1 为什么要有对照组 75 3.1.2 为什么只有A/B，没有C/D…… 76 3.1.3 扩展阅读 77 3.2 假设检验 77 3.2.1 零假设 78 3.2.2 备择假设 79 3.2.3 单向假设检验与双向假设检验 79 3.2.4 扩展阅读 80 3.3 重抽样 80 3.3.1 置换检验 80 3.3.2 示例：Web 黏性 81 3.3.3 穷尽置换检验和Bootstrap 置换检验 84 3.3.4 置换检验：数据科学的底线 85 3.3.5 扩展阅读 85 3.4 统计显著性和p 值 85 3.4.1 p 值 88 3.4.2 α 88 3.4.3 第 一类错误和第二类错误 90 3.4.4 数据科学与p 值 9 3.4.5 扩展阅读 90 3.5 t 检验 91 3.6 多重检验 92 3.7 自由度 95 3.8 ANOVA 97 3.8.1 F 统计量 99 3.8.2 双向ANOVA 101 3.8.3 扩展阅读 101 3.9 卡方检验 101 3.9.1 卡方检验：一种重抽样方法 102 3.9.2 卡方检验：统计理论 104 3.9.3 费希尔**检验 105 3.9.4 与数据科学的关联 107 3.9.5 扩展阅读 107 3.10 多臂老虎机算法 107 3.11 检验力与样本容量 110 3.11.1 样本容量 111 3.11.2 扩展阅读 113 3.12 小结 114 第4 章 回归与预测 115 4.1 简单线性回归 115 4.1.1 回归方程 117 4.1.2 拟合值与残差 119 4.1.3 小二乘法 120 4.1.4 预测与解释（分析） 121 4.1.5 扩展阅读 121 4.2 多元线性回归 122 4.2.1 示例：金县房屋数据 123 4.2.2 模型评估 124 4.2.3 交叉验证 126 4.2.4 模型选择与逐步回归 127 4.2.5 加权回归 130 4.2.6 扩展阅读 131 4.3 使用回归进行预测 131 4.3.1 外推风险 131 4.3.2 置信区间与预测区间 132 4.4 回归中的因子变量 133 4.4.1 虚拟变量的表示方法 134 4.4.2 多水平因子变量 136 4.4.3 有序因子变量 138 4.5 解释回归方程 138 4.5.1 相关的预测变量 139 4.5.2 多重共线性 140 4.5.3 混淆变量 141 4.5.4 交互作用与主效应 142 4.6 回归诊断 143 4.6.1 离群点 144 4.6.2 强影响值 146 4.6.3 异方差、非正态与相关误差 148 4.6.4 偏残差图与非线性 151 4.7 多项式回归与样条回归 152 4.7.1 多项式回归 153 4.7.2 样条回归 155 4.7.3 广义可加模型 156 4.7.4 扩展阅读 158 4.8 小结 158 第5 章 分类 159 5.1 朴素贝叶斯算法 160 5.1.1 为什么进行**贝叶斯分类是不现实的 161 5.1.2 朴素贝叶斯问题求解 161 5.1.3 数值型预测变量 164 5.1.4 扩展阅读 164 5.2 判别分析 164 5.2.1 协方差矩阵 165 5.2.2 费希尔线性判别分析 166 5.2.3 一个简单的例子 166 5.2.4 扩展阅读 169 5.3 逻辑回归 169 5.3.1 逻辑响应函数和logit 函数 170 5.3.2 逻辑回归和广义线性模型 171 5.3.3 广义线性模型 172 5.3.4 逻辑回归的预测值 173 5.3.5 系数和优势比的解释 174 5.3.6 线性回归与逻辑回归：共性与差异 175 5.3.7 评估模型 176 5.3.8 扩展阅读 179 5.4 分类模型评估 179 5.4.1 混淆矩阵 180 5.4.2 稀有类问题 182 5.4.3 **度、召回率和特异度 182 5.4.4 ROC 曲线 183 5.4.5 AUC 185 5.4.6 提升度 186 5.4.7 扩展阅读 187 5.5 非平衡数据的处理策略 187 5.5.1 欠采样 188 5.5.2 过采样与上（下）加权 189 5.5.3 数据生成 190 5.5.4 基于成本的分类 191 5.5.5 探索预测结果 191 5.5.6 扩展阅读 192 5.6 小结 193 第6 章 统计机器学习 194 6.1 KNN 195 6.1.1 一个小例子：预测贷款违约 196 6.1.2 距离的度量 198 6.1.3 独热编码 198 6.1.4 标准化（归一化，z 分数） 199 6.1.5 K 的选择 201 6.1.6 KNN 作为特征引擎 202 6.2 树模型 204 6.2.1 一个简单的例子 205 6.2.2 递归分割算法 207 6.2.3 测量同质性或不纯度 208 6.2.4 让树停止生长 209 6.2.5 预测连续的值 211 6.2.6 如何使用树 211 6.2.7 扩展阅读 212 6.3 装袋法与随机森林 212 6.3.1 装袋法 213 6.3.2 随机森林 213 6.3.3 变量的重要性 217 6.3.4 超参数 220 6.4 提升方法 221 6.4.1 提升算法 222 6.4.2 XGBoost 222 6.4.3 正则化：避免过拟合 225 6.4.4 超参数与交叉验证 228 6.5 小结 231 第7 章 无监督学习 232 7.1 主成分分析 233 7.1.1 一个简单的例子 234 7.1.2 计算主成分 236 7.1.3 解释主成分 236 7.1.4 对应分析 239 7.1.5 扩展阅读 240 7.2 K-均值聚类 241 7.2.1 一个简单的例子 241 7.2.2 K-均值算法 244 7.2.3 簇的解释 245 7.2.4 选择簇的数量 247 7.3 层次聚类 248 7.3.1 一个简单的例子 249 7.3.2 树状图 250 7.3.3 凝聚算法 251 7.3.4 测量相异度 252 7.4 基于模型的聚类 253 7.4.1 多元正态分布 253 7.4.2 混合正态分布 254 7.4.3 选择簇的数量 257 7.4.4 扩展阅读 259 7.5 数据缩放与分类变量 259 7.5.1 缩放变量 260 7.5.2 主导变量 261 7.5.3 分类数据和Gower 距离 263 7.5.4 混合数据聚类中的问题 265 7.6 小结 266 扩展阅读 267 作者介绍 269 封面介绍 269