本书面向初学者，使用Python语言以及流行的scikit-learn机器学习库等资源，通过易于实践的项目，帮助读者掌握开发有效的机器学习系统所需的流程、模式和策略。本书首先介绍机器学习的基本概念和机器学习系统的评估技术；之后扩展工具库，引入另外几种分类和回归技术以及特征工程；*后介绍一些较为前沿的新技术，包括组合机器学习模型和自动化特征工程模型等，并将机器学习应用于图像处理和文本处理两个特定领域。本书不依赖于复杂的数学公式，仅要求读者具备一定的编程基础，适合学生、数据分析人员、科研人员等各领域的读者阅读参考。

**部分 机器学习入门 第1章 机器学习概论 3 1.1 欢迎来到机器学习的世界 3 1.2 范围、术语、预测和数据 4 1.2.1 特征 5 1.2.2 目标值和预测值 6 1.3 让机器开始机器学习 7 1.4 学习系统举例 9 1.4.1 预测类别：分类器举例 9 1.4.2 预测值：回归器举例 10 1.5 评估机器学习系统 11 1.5.1 准确率 11 1.5.2 资源消耗 12 1.6 创建机器学习系统的过程 13 1.7 机器学习的假设和现实 15 1.8 参考阅读资料 17 1.8.1 进一步研究方向 17 1.8.2 注释 17 第2章 相关技术背景 19 2.1 编程环境配置 19 2.2 数学语言的必要性 19 2.3 用于解决机器学习问题的软件 20 2.4 概率 21 2.4.1 基本事件 22 2.4.2 独立性 23 2.4.3 条件概率 24 2.4.4 概率分布 25 2.5 线性组合、加权和以及点积 28 2.5.1 加权平均 30 2.5.2 平方和 32 2.5.3 误差平方和 33 2.6 几何视图：空间中的点 34 2.6.1 直线 34 2.6.2 直线拓展 39 2.7 表示法和加1技巧 43 2.8 渐入佳境：突破线性和非线性 45 2.9 NumPy与“数学无所不在” 47 2.9.1 一维数组与二维数组 49 2.10 浮点数问题 52 2.11 参考阅读资料 53 2.11.1 小结 53 2.11.2 注释 54 第3章 预测类别：分类入门 55 3.1 分类任务 55 3.2 一个简单的分类数据集 56 3.3 训练和测试：请勿“应试教育” 59 3.4 评估：考试评分 62 3.5 简单分类器1：*近邻分类器、远距离关系和假设 63 3.5.1 定义相似性 63 3.5.2 k-*近邻中的k 64 3.5.3 答案组合 64 3.5.4 k-*近邻、参数和非参数方法 65 3.5.5 建立一个k-*近邻分类模型 66 3.6 简单分类器2：朴素贝叶斯分类器、概率和违背承诺 68 3.7 分类器的简单评估 70 3.7.1 机器学习的性能 70 3.7.2 分类器的资源消耗 71 3.7.3 独立资源评估 77 3.8 参考阅读资料 81 3.8.1 再次警告：局限性和尚未解决的问题 81 3.8.2 小结 82 3.8.3 注释 82 3.8.4 练习题 83 第4章 预测数值：回归入门 85 4.1 一个简单的回归数据集 85 4.2 *近邻回归和汇总统计 87 4.2.1 **测量：中位数和均值 88 4.2.2 构建一个k-*近邻回归模型 90 4.3 线性回归和误差 91 4.3.1 地面总是不平坦的：为什么需要斜坡 92 4.3.2 倾斜直线 94 4.3.3 执行线性回归 97 4.4 优化：选择*佳答案 98 4.4.1 随机猜测 98 4.4.2 随机步进 99 4.4.3 智能步进 99 4.4.4 计算的捷径 100 4.4.5 线性回归的应用 101 4.5 回归器的简单评估和比较 101 4.5.1 均方根误差 101 4.5.2 机器学习的性能 102 4.5.3 回归过程中的资源消耗 102 4.6 参考阅读资料 104 4.6.1 局限性和尚未解决的问题 104 4.6.2 小结 105 4.6.3 注释 105 4.6.4 练习题 105 第二部分 通用评估技术 第5章 机器学习算法的评估和比较分析 109 5.1 评估和大道至简的原则 109 5.2 机器学习阶段的术语 110 5.2.1 有关机器的重新讨论 110 5.2.2 更规范的阐述 113 5.3 过拟合和欠拟合 116 5.3.1 合成数据和线性回归 117 5.3.2 手动操控模型的复杂度 118 5.3.3 “恰到好处”原则：可视化过拟合、欠拟合和*佳拟合 120 5.3.4 简单性 124 5.3.5 关于过拟合必须牢记的注意事项 124 5.4 从误差到成本 125 5.4.1 损失 125 5.4.2 成本 126 5.4.3 评分 127 5.5 （重新）抽样：以少胜多 128 5.5.1 交叉验证 128 5.5.2 分层抽样 132 5.5.3 重复的训练–测试数据集拆分 133 5.5.4 一种更好的方法和混排 137 5.5.5 留一交叉验证 140 5.6 分解：将误差分解为偏差和方差 142 5.6.1 数据的方差 143 5.6.2 模型的方差 144 5.6.3 模型的偏差 144 5.6.4 结合所有的因素 145 5.6.5 偏差–方差权衡示例 145 5.7 图形可视化评估和比较 149 5.7.1 学习曲线：到底需要多少数据 150 5.7.2 复杂度曲线 152 5.8 使用交叉验证比较机器学习模型 154 5.9 参考阅读资料 155 5.9.1 小结 155 5.9.2 注释 155 5.9.3 练习题 157 第6章 评估分类器 159 6.1 基线分类器 159 6.2 准确度以外：分类器的其他度量指标 161 6.2.1 从混淆矩阵中消除混淆 163 6.2.2 错误的方式 164 6.2.3 基于混淆矩阵的度量指标 165 6.2.4 混淆矩阵编码 166 6.2.5 处理多元类别：多元类别平均 168 6.2.6 F1分数 170 6.3 ROC曲线 170 6.3.1 ROC模式 173 6.3.2 二元分类ROC 174 6.3.3 AUC：（ROC）曲线下的面积 177 6.3.4 多元分类机器学习模型、一对其他和ROC 179 6.4 多元