本书涵盖数据分析与数据挖掘的基础知识、工具和有效实践方法，能让读者充分掌握数据分析与数据挖掘的基本技能。 本书共分为15章，主要内容包括大数据获取、数据预处理、探索性数据分析、用Sklearn估计器分类、主流数据分析库、大数据的数据库类型、数据仓库/商业智能、数据聚合与分组运算、数据挖掘工具、挖掘建模、模型评估、社会媒体挖掘、图挖掘分类、基于深度学习的验证码识别、基于深度学习的文本分类挖掘实现。 本书采用理论与实践相结合的方式，利用Python语言的强大功能，以*小的编程代价进行数据的提取、处理、分析和挖掘，既适合Python数据分析与数据挖掘初学者、大数据从业人员阅读，也适合高等院校和培训机构大数据与人工智能相关专业的师生教学参考。

第1章 大数据采集 1 1.1 大数据分类 1 1.2 大数据采集方法 2 1.3 Python爬虫 3 1.3.1 审查元素 4 1.3.2 认识网页结构 5 1.3.3 认识robots.txt的文档 6 1.3.4 爬虫的基本原理 11 1.3.5 Python爬虫架构 11 1.3.6 用GET方式抓取数据 12 1.3.7 用POST方式抓取数据 15 1.3.8 用Beautiful Soup解析网页 17 1.3.9 Python爬虫案例 19 1.4 本章小结 25 第2章 数据预处理 26 2.1 数据清洗 26 2.1.1 缺失值处理 27 2.1.2 异常值处理 28 2.2 数据集成 30 2.3 数据转换 32 2.4 数据规约 34 2.5 Python主要数据预处理函数 35 2.6 本章小结 37 第3章 探索性数据分析 38 3.1 异常值分析 38 3.2 缺失值分析 41 3.3 分布分析 43 3.4 相关性分析 46 3.5 对比分析 48 3.6 统计量分析 48 3.7 周期性分析 51 3.8 贡献度分析 51 3.9 Python主要数据探索函数 52 3.10 本章小结 53 第4章 Sklearn估计器 54 4.1 Sklearn概述 54 4.2 使用Sklearn估计器分类 58 4.2.1 k近邻算法 59 4.2.2 管道机制 63 4.2.3 Sklearn比���分类器 65 4.3 本章小结 69 第5章 主流数据分析库 70 5.1 NumPy 70 5.2 Pandas 75 5.2.1 Pandas系列 76 5.2.2 Pandas数据帧 78 5.2.3 Pandas面板 84 5.3 SciPy 86 5.4 Matplotlib 90 5.5 本章小结 93 第6章 大数据：数据库类型 94 6.1 关系型数据库 94 6.2 关系型数据库与非关系型数据库的关系 95 6.3 SQLite 96 6.3.1 SQLite安装与配置 96 6.3.2 SQLite命令 97 6.3.3 SQLite语法 99 6.3.4 SQLite - Python 104 6.4 MySQL 111 6.4.1 MySQL安装 111 6.4.2 MySQL管理 114 6.4.3 MySQL PHP语法 116 6.4.4 PHP脚本连接MySQL 116 6.4.5 Python操作MySQL数据库 117 6.5 NoSQL数据库 123 6.5.1 NoSQL概述 123 6.5.2 列存储数据库 125 6.5.3 文档存储数据库 134 6.5.4 键值存储数据库 143 6.5.5 图存储数据库 153 6.5.6 对象存储数据库 155 6.5.7 XML数据库 155 6.6 本章小结 157 第7章 数据仓库/商业智能 158 7.1 数据仓库和商业智能简介 158 7.2 数据仓库架构 159 7.3 OLAP 160 7.4 数据集市 161 7.5 商业智能 162 7.6 本章小结 163 第8章 数据聚合与分组运算 164 8.1 GroupBy技术 164 8.1.1 通过函数进行分组 165 8.1.2 对分组进行迭代 167 8.1.3 选取一个或一组列 170 8.1.4 通过字典或Series进行分组 171 8.1.5 通过函数进行分组 172 8.1.6 根据索引级别分组 173 8.2 数据聚合 174 8.2.1 面向列的多函数应用 174 8.2.2 以无索引的方式返回聚合数据 177 8.2.3 分组级运算和转换 178 8.3 透视表和交叉表 181 8.4 本章小结 183 第9章 数据挖掘工具 184 9.1 数据挖掘工具分类 184 9.2 数据挖掘经典算法 185 9.3 免费数据挖掘工具 186 9.4 Git和GitHub项目数据挖掘工具 188 9.5 Python数据挖掘工具 190 9.5.1 Gensim 190 9.5.2 TensorFlow 194 9.5.3 Keras 197 9.6 本章小结 197 第10章 挖掘建模 198 10.1 数据挖掘建模的一般过程 198 10.2 分类与预测 199 10.3 聚类分析 200 10.4 关联分析 201 10.5 时序模式 202 10.6 离群点检测 203 10.7 本章小结 204 第11章 模型评估 205 11.1 验证 205 11.2 交叉验证 206 11.3 自助法 206 11.4 回归评估指标 207 11.5 分类评估指标 207 11.6 ROC曲线 208 11.7 本章小结 210 第12章 社会媒体挖掘 211 12.1 社会媒体与社会媒体数据 211 12.2 中国社会媒体核心用户数据分析 212 12.3 社会媒体挖掘技术与研究热点 213 12.4 社会媒体挖掘流程 214 12.5 Twitter情感分析 216 12.6 本章小结 221 第13章 图挖掘分类 222 13.1 图挖掘概述 222 13.2 图挖掘技术基础 224 13.3 网络度量 226 13.4 网络模型 229 13.5 图挖掘与知识推理 230 13.6 图挖掘算法简介 231 13.7 社区检测 232 13.7.1 模块度 233 13.7.2 社区发现算法 234 13.8 频繁子图挖掘算法gSpan的实现 237 13.9 基于networkx进行社交网络分析 239 13.10 本章小结 245 第14章 基于深度学习的验证码识别 246 14.1 获取图片验证码 246 14.2 验证码图片预处理 248 14.3 依赖TensorFlow的深度学习验证码识别 255 14.4 本章小结 259 第15章 基于深度学习的文本分类挖掘实现 260 15.1 文本分类概念 260 15.2 文本分类挖掘算法概述 261 15.3 基于传统机器学习的文本分类 262 15.4 基于深度学习的文本分类 263 15.4.1 FastText文本分类模型算法实现 264 15.4.2 TextCNN文本分类模型算法实现 268 15.4.3 Bert深度双向Transformer构建语言理解预训练模型 271 15.4.4 TextRNN文本分类 273 15.4.5 RCNN文本分类 275 15.4.6 Hierarchical Attention Network文本分类 278 15.4.7 seq2seq with attention文本分类 281 15.4.8 Transformer文本分类 283 15.4.9 Dynamic Memory Network文本分类 289 15.4.10 Recurrent Entity Network文本分类 292 15.4.11 Boosting文本分类 294 15.4.12 BiLstmTextRelation文本分析 294 15.4.13 twoCNNTextRelation文本分类 297 15.5 本章小结 297 参考文献 298