学习并精通任何一门学科无外乎要经过四个步骤:它是什么?它可行吗?怎么学它?如何学好它?机器学习也不例外,《快乐机器学习》就以这四个步骤来介绍机器学习。 《快乐机器学习》第1章介绍“机器学习是什么”,即从定义开始,详细介绍机器学习涉及的知识、数据和性能度量。第2章介绍“机器学习可行吗”,即介绍机器具备学习样本以外的数据的能力。 第3章介绍“机器学习怎么学”,即介绍机器如何选择出*优模型。作者在这3章的写作上花费的时间*多,光这3章的内容就*会让读者有所收获。 第4~14章介绍“如何学好机器学习”,**介绍机器学习的各类算法和调参技巧。 第15 章介绍机器学习中的一些非常实用的经验,包括学习策略、目标设定、误差分析和偏差与方差分析。作者写作本书的目的是深入浅出介绍机器学习,使看似复杂、晦涩的专业知识变得通俗易懂,让那些想入门的读者感觉门槛没有那么高,让有基础的读者感觉内容也很丰富。 为了达到这两个目的,本书用有趣的引言故事来激起读者的阅读兴趣,用清晰的思维导图来明晰结构,用自画图表来增强美感,用公式推导来讲透原理,达到趣、美、准、全,让每位读者从本书中获益,快乐地学习机器学习。《快乐机器学

目录 第1章 机器学习是什么――机器学习定义 1 引言 2 1.1 数据 5 1.1.1 结构型与非结构型数据 5 1.1.2 原始数据与加工 7 1.1.3 样本内数据与样本外数据 9 1.2 机器学习类别 9 1.2.1 有监督学习 10 1.2.2 无监督学习 10 1.2.3 半监督学习 11 1.2.4 增强学习 11 1.2.5 深度学习 11 1.2.6 迁移学习 12 1.3 性能度量 12 1.3.1 误差函数 13 1.3.2 回归度量 14 1.3.3 分类度量 15 1.4 总结 19 参考资料 20 第2章 机器学习可行吗――计算学习理论 22 引言 23 2.1 基础知识 25 2.1.1 二分类 25 2.1.2 对分 26 2.1.3 增长函数 29 2.1.4 突破点 30 2.2 核心推导 31 2.2.1 机器学习可行条件 31 2.2.2 从已知推未知 33 2.2.3 从民意调查到机器学习 35 2.2.4 从单一到有限 36 2.2.5 从有限到无限 37 2.2.6 从无限到有限 38 2.3 结论应用 39 2.3.1 VC 不等式 39 2.3.2 VC 维度 40 2.3.3 模型复杂度 40 2.3.4 样本复杂度 41 2.4 总结 42 参考资料 43 技术附录 43 第3章 机器学习怎么学――模型评估选择 47 引言 48 3.1 模型评估 52 3.2 训练误差和测试误差 52 3.2.1 训练误差 52 3.2.2 真实误差 54 3.2.3 测试误差 57 3.2.4 学习理论 57 3.3 验证误差和交叉验证误差 60 3.3.1 验证误差 60 3.3.2 交叉验证误差 61 3.3.3 学习理论 62 3.4 误差剖析 64 3.4.1 误差来源 64 3.4.2 偏差―方差权衡 66 3.5 模型选择 67 3.6 总结 70 参考资料 71 技术附录 71 第4章 线性回归 73 引言 74 4.1 基础知识 75 4.1.1 标量微积分 75 4.1.2 向量微积分 76 4.2 模型介绍 77 4.2.1 核心问题 77 4.2.2 通用线性回归模型 83 4.2.3 特征缩放 84 4.2.4 学习率设定 86 4.2.5 数值算法比较 87 4.2.6 代码实现 89 4.3 总结 90 参考资料 90 第5章 对率回归 92 引言 93 5.1 基础内容 94 5.1.1 联系函数 94 5.1.2 函数绘图 95 5.2 模型介绍 96 5.2.1 核心问题 96 5.2.2 查准和查全 102 5.2.3 类别不平衡 104 5.2.4 线性不可分 105 5.2.5 多分类问题 106 5.2.6 代码实现 109 5.3 总结 110 参考资料 111 第6章 正则化回归 112 引言 113 6.1 基础知识 114 6.1.1 等值线图 114 6.1.2 坐标下降 116 6.2 模型介绍 116 6.2.1 核心问题 116 6.2.2 模型对比 122 6.2.3 *佳模型 125 6.2.4 代码实现 126 6.3 总结 126 参考资料 127 第7章 支持向量机 128 引言 129 7.1 基础知识 133 7.1.1 向量初体验 133 7.1.2 拉格朗日量 136 7.1.3 原始和对偶 137 7.2 模型介绍 138 7.2.1 硬间隔 SVM 原始问题 138 7.2.2 硬间隔 SVM 对偶问题 144 7.2.3 软间隔 SVM 原始问题 148 7.2.4 软间隔 SVM 对偶问题 150 7.2.5 空间转换 151 7.2.6 核技巧 155 7.2.7 核 SVM 158 7.2.8 SMO 算法 159 7.2.9 模型选择 161 7.3 总结 162 参考资料 164 技术附录 164 第8章 朴素贝叶斯 170 引言 171 8.1 基础知识 174 8.1.1 两种概率学派 174 8.1.2 两种独立类别 174 8.1.3 两种学习算法 175 8.1.4 两种估计方法 176 8.1.5 两类概率分布 177 8.2 模型介绍 179 8.2.1 问题剖析 179 8.2.2 朴素贝叶斯算法 182 8.2.3 多元伯努利模型 183 8.2.4 多项事件模型 184 8.2.5 高斯判别分析模型 184 8.2.6 多分类问题 186 8.2.7 拉普拉斯校正 187 8.2.8 *大似然估计和*大后验估计 188 8.3 总结 190 参考资料 191 技术附录 191 第9章 决策树 195 引言 196 9.1 基础知识 198 9.1.1 多数规则 198 9.1.2 熵和条件熵 198 9.1.3 信息增益和信息增益比 200 9.1.4 基尼指数 201 9.2 模型介绍 201 9.2.1 二分类决策树 201 9.2.2 多分类决策树 209 9.2.3 连续值分裂 210 9.2.4 欠拟合和过拟合 211 9.2.5 预修剪和后修剪 212 9.2.6 数据缺失 215 9.2.7 代码实现 218 9.3 总结 219 参考资料 219 第10章 人工神经网络 220 引言 221 10.1 基本知识 223 10.1.1 转换函数 223 10.1.2 单输入单层单输出神经网络 224 10.1.3 多输入单层单输出神经网络 224 10.1.4 多输入单层多输出神经网络 225 10.1.5 多输入多层多输出神经网络 225 10.2 模型应用 227 10.2.1 创建神经网络模型 227 10.2.2 回归应用 230 10.2.3 分类应用 238 第11章 正向/反向传播 246 引言 247 11.1 基础知识 250 11.1.1 神经网络元素 250 11.1.2 链式法则 254 11.2 算法介绍 254 11.2.1 正向传播 254 11.2.2 梯度下降 257 11.2.3 反向传播 258 11.2.4 代码实现 262 11.3 总结 268 参考资料 268 技术附录 269 第12章 集成学习 272 引言 273 12.1 结合假设 277 12.1.1 语文和数学 277 12.1.2 准确和多样 278 12.1.3 独裁和民主 279 12.1.4 学习并结合 279 12.2 装袋法 280 12.2.1 基本概念 280 12.2.2 自助采样 280 12.2.3 结合假设 281 12.3 提升法 282 12.3.1 基本概念 282 12.3.2 *优加权 283 12.3.3 结合假设 285 12.4 集成方式 286 12.4.1 同质学习器 286 12.4.2 异质学习器 286 12.5 总结 288 参考资料 288 第13章 随机森林和提升树 289 引言 290 13.1 基础知识 293 13.1.1 分类回归树 293 13.1.2 前向分布算法 294 13.1.3 置换检验 295 13.2 模型介绍 296 13.2.1 随机森林 296 13.2.2 提升树 302 13.2.3 代码实现 306 13.3 总结 307 参考资料 307 第14章 极度梯度提升 309 引言 310 14.1 基础知识 311 14.1.1 树的重定义 311 14.1.2 树的复杂度 313 14.2 模型介绍 313 14.2.1 XGB 简介 313 14.2.2 XGB 的泛化度 314 14.2.3 XGB 的**度 315 14.2.4 XGB 的速度 318 14.2.5 代码实现 324 14.3 总结 325 参考资料 326 第15章 本书总结 327 15.1 正交策略 328 15.2 单值评估指标 330 15.3 偏差和方差 332 15.3.1 理论定义 332 15.3.2 实用定义 334 15.3.3 *优误差 335 15.3.4 两者权衡 336 15.3.5 学习曲线 336 结语 339