《大数据处理技术与应用》对大数据的概念、挖掘、应用进行了系统的介绍,并且配备了相关的案例以及实际操作过程。这种理论与实践相结合的方式能够极大地帮助读者掌握大数据领域的相关理论知识。 《大数据处理技术与应用》共分为10章,主要内容包含互联网大数据概述、互联网大数据采集与获取实战要领、做好数据预处理的实战方法、数据相关性分析与回归分析的黄金法则、如何利用关联规则进行大数据挖掘、大数据分析中的四种常见分类算法、大数据分析中的四种常见聚类算法,以及自组织神经网络算法与人工神经网络算法、互联网大数据分析应用——产品个性化**系统、大数据分析在具体行业中的应用等。 《大数据处理技术与应用》知识体系完善且适用,可作为高等院校大数据、人工智能等相关专业课程的教材,也可作为从事数据挖掘、机器学习工作以及其他相关工程技术工作人员的参考书。

第1章 互联网大数据概述 1 1.1 认识大数据 1 1.1.1 大数据的定义 1 1.1.2 大数据的特征 2 1.1.3 未来十年大数据分析的 发展趋势 3 1.2 常用大数据处理、分析工具介绍 4 1.2.1 大数据的存储工具 4 1.2.2 大数据的软件开发工具 6 1.2.3 大数据的挖掘工具 7 1.2.4 大数据的可视化工具 9 小结 11 第2章 互联网大数据采集与 获取实战要领 12 2.1 互联网大数据采集与处理技术 概述 12 2.1.1 数据采集的基本流程与 关键技术 12 2.1.2 数据处理的基本流程与 关键技术 14 2.2 Web页面数据获取实战方法 15 2.2.1 Jsoup技术与页面数据 获取 15 2.2.2 应对特定领域的 Deep Web数据获取技术 20 2.3 利用爬虫抓取互联网大数据 实战技巧 22 2.3.1 Python爬虫工作原理 22 2.3.2 利用HtmlParser实现 网页链接的提取实战 25 小结 31 第3章 做好数据预处理的实战 方法 33 3.1 数据预处理概述 33 3.1.1 数据预处理的目的 33 3.1.2 数据预处理的方法 33 3.2 从问题分析到数据清洗实战 策略 35 3.2.1 数据清洗的步骤 36 3.2.2 缺失值的识别与处理 技巧 38 3.2.3 异常值的判断、检验与 处理 40 3.3 数据集成与数据转换实战方法 44 3.3.1 数据集成常见方法 44 3.3.2 数据转换过程中的 离散化 47 3.4 数据的特征选择 49 3.4.1 常用数据特征选择方法 49 3.4.2 Relief算法与费希尔 判别法的应用 57 3.5 数据预处理实战案例分析 60 小结 69 第4章 数据相关性分析与回归 分析的黄金法则 70 4.1 什么是数据集 70 4.1.1 数据集的概念与常见 类型 70 4.1.2 **进行数据度量的 实战技巧 72 4.2 做好数据相关性分析 75 4.2.1 进行数据相关性分析的 作用 75 4.2.2 常用的数据相关分析 方法 75 4.3 做好数据回归分析实战要领 82 4.3.1 数据回归分析方法概述 83 4.3.2 数据回归分析所能 解决的实际问题 85 小结 90 第5章 如何利用关联规则进行 大数据挖掘 91 5.1 关联规则 91 5.1.1 什么是关联规则 91 5.1.2 关联规则挖掘的应用 场景 91 5.2 关联规则挖掘实战流程分析 94 5.2.1 关联规则常见分类与 四个基本属性 94 5.2.2 快速找出*大高频 项目组的实战技巧 95 5.3 关联规则发掘中重要的Apriori 算法 97 5.3.1 Apriori算法的基本原理 97 5.3.2 Apriori算法运行的 基本流程 99 5.4 针对Apriori算法缺点的 其他关联规则挖掘算法 101 5.4.1 Apriori算法的两大缺点 101 5.4.2 基于划分规则的算法 101 5.4.3 FP-Growth算法 102 小结 118 第6章 大数据分析中的四种常见 分类算法 119 6.1 分类算法概述 119 6.1.1 有关分类算法的 基本概念 119 6.1.2 分类算法的常见 应用场景 120 6.2 KNN算法 124 6.2.1 KNN算法的工作原理与 特点 124 6.2.2 快速找到*优k值的 实用策略 125 6.3 决策树与随机森林算法 127 6.3.1 决策树算法 127 6.3.2 Bagging与Boosting的 区别 134 6.3.3 随机森林分类算法的 优势与应用场景 135 6.4 朴素贝叶斯分类算法 141 6.4.1 朴素贝叶斯分类算法 运行原理分析 141 6.4.2 贝叶斯网络 144 6.4.3 贝叶斯决策理论 148 6.5 支持向量机 153 6.5.1 支持向量机的基本思想 与特点 153 6.5.2 *优分类面和广义*优 分类面 154 6.5.3 非线性支持向量机与 核函数 157 小结 159 第7章 大数据分析中的四种常见 聚类算法 160 7.1 大数据分析聚类算法概述 160 7.1.1 聚类分析的相关概念及 应用场景 160 7.1.2 聚类算法运行基础:簇与 距离度量 162 7.2 K均值聚类算法 167 7.2.1 基于划分的K均值聚类 算法 167 7.2.2 二分K均值聚类算 法运行原理 168 7.3 基于密度的DBSCAN聚类 方法 170 7.3.1 DBSCAN算法原理 解析 170 7.3.2 DBSCAN算法的基本 运行流程 171 7.4 高斯混合模型聚类算法 173 7.4.1 GMM算法原理分析 174 7.4.2 GMM的*大期望算法 176 7.5 层次聚类算法 179 7.5.1 层次聚类算法的算法 思想 179 7.5.2 层次聚类算法的运行 原理 179 小结 182 第8章 自组织神经网络算法与 人工神经网络算法 183 8.1 自组织神经网络算法 183 8.1.1 什么是自组织神经网络 183 8.1.2 自组织映射算法运行 原理 183 8.1.3 进行SOM网络拓扑的 实战方法 184 8.2 人工神经网络算法 187 8.2.1 神经元与人工神经网络 187 8.2.2 BP算法的网络结构与 反向传播 189 小结 192 第9章 互联网大数据分析应用—— 产品个性化**系统 193 9.1 **算法基本逻辑与常用 **算法类型 193 9.1.1 **算法的基本运行 逻辑 193 9.1.2 五种常用的**算法 196 9.2 打造互联网产品个性化** 引擎实战攻略 198 9.2.1 基于内容关联的个性化 **系统打造方法 198 9.2.2 基于用户行为的协同 过滤算法实战流程 200 9.2.3 协同过滤**算法在电商 个性化**系统中的应用 法则 205 9.3 经典互联网产品个性化** 系统案例分析 208 9.3.1 网易云音乐**算法 机制分析 208 9.3.2 **头条**算法原理 深度解析 212 小结 218 第10章 大数据分析在具体 行业中的应用 219 10.1 大数据分析在商业银行领域的 应用 219 10.1.1 利用大数据分析显著 提升银行精准营销效率 实战方法 219 10.1.2 如何利用大数据分析 提升金融风控**性 222 10.1.3 利用大数据分析降低 信用卡套现概率实战 技巧 225 10.2 大数据分析在交通领域的 应用 230 10.2.1 公共交通利用出行数据 分析合理分配运力 实战策略 230 10.2.2 大数据分析实现城市的 智能交通 233 10.3 大数据分析在安防领域的 应用 234 10.3.1 大数据分析对实现快速 安检过闸的提升作用 234 10.3.2 家庭安防系统中的 大数据挖掘应用 235 小结 236 参考文献 237