本书理论联系实际,配以大量实例,系统地介绍了大数据有关的基础知识。全书共分10章,内容包括大数据概述,大数据、云计算与物联网,大数据架构与Hadoop,数据采集与预处理,大数据分析与大数据挖掘,数据存储与HDFS,MapReduce,数据可视化,大数据**,大数据应用案例。 本书主要作为本科和高职高专相关专业的教材,也可作为相关行业从业人员的读物,还可以作为培训教材。

第1章大数据概述1 1.1大数据定义和特征1 1.1.1大数据定义1 1.1.2大数据的特征1 1.1.3大数据发展历程2 1.2大数据的影响4 1.3大数据发展趋势4 1.4大数据的关键技术8 1.5大数据的计算模式10 1.6大数据的应用领域11 1.7数据资源化和交易13 1.7.1数据资源化13 1.7.2大数据交易14 1.8大数据**与隐私15 1.9本章小结16 习题17 第2章大数据、云计算与物联网18 2.1云计算18 2.1.1云计算概述18 2.1.2云计算的分类19 2.1.3云计算的基本特点20 2.1.4云计算的关键技术21 2.1.5云计算的应用24 2.2物联网26 2.2.1物联网概述27 2.2.2物联网的发展过程27 2.2.3物联网的特征28 2.2.4物联网的关键技术30 2.2.5物联网系统结构31 2.2.6物联网的应用33 2.3大数据、云计算与物联网三者之间的关系36 2.4本章小结39 目录大数据概论习题39 第3章大数据架构与Hadoop40 3.1大数据架构40 3.1.1大数据架构概述40 3.1.2数据类型41 3.1.3大数据架构及数据解决方案42 3.2Hadoop概述46 3.2.1Hadoop简介46 3.2.2Hadoop的发展历程46 3.2.3Hadoop的特点47 3.2.4Hadoop应用现状47 3.2.5Hadoop的版本49 3.3Hadoop的生态系统概述50 3.3.1Hadoop的生态系统50 3.3.2Hadoop的组成介绍51 3.4Hadoop的安装55 3.4.1安装前的准备55 3.4.2安装VirtualBox56 3.4.3安装Linux发行版Ubuntu57 3.4.4创建Hadoop用户61 3.4.5设置SSH无密码登录61 3.4.6安装Java环境62 3.4.7安装单机Hadoop62 3.4.8安装伪分布式Hadoop63 3.5本章小结66 习题66 第4章数据采集与预处理67 4.1大数据采集67 4.1.1大数据采集概述67 4.1.2大数据采集方法70 4.2大数据采集工具72 4.2.1Flume73 4.2.2Kafka75 4.2.3Sqoop77 4.2.4Scribe80 4.3大数据预处理技术81 4.3.1预处理意义81 4.3.2预处理方法82 4.4本章小结91 习题92 第5章大数据分析与大数据挖掘93 5.1大数据分析的基本概念93 5.1.1数据分析概论93 5.1.2数据分析的类型94 5.2大数据分析方法95 5.2.1数据分析方法概述95 5.2.2数据分析过程97 5.2.3数据处理结果分析98 5.3数据挖掘概述105 5.3.1数据和知识105 5.3.2数据挖掘的概念106 5.3.3数据挖掘过程106 5.3.4数据挖掘技术107 5.4分类算法108 5.4.1朴素贝叶斯分类109 5.4.2SVM算法114 5.5聚类算法117 5.5.1kmeans算法118 5.5.2DBSCAN算法121 5.6Apriori频繁项集挖掘算法125 5.6.1Apriori算法原理126 5.6.2Apriori算法的基本思想127 5.6.3Apriori算法流程128 5.6.4Apriori算法的优缺点128 5.6.**priori算法实例129 5.7常用挖掘工具130 5.7.1Mahout130 5.7.2Spark MLlib132 5.8本章小结135 习题135 第6章数据存储与HDFS136 6.1大数据存储136 6.1.1大数据存储概述136 6.1.2分布式存储系统137 6.1.3云存储140 6.2数据仓库141 6.2.1数据仓库概述141 6.2.2数据仓库架构及构建143 6.2.3数据集市147 6.3HDFS简介148 6.3.1HDFS概述148 6.3.2HDFS的优点和缺点149 6.4HDFS基本技术150 6.4.1数据块150 6.4.2名称节点、数据节点和第二名称节点151 6.5HDFS体系结构154 6.5.1HDFS体系结构概述154 6.5.2HDFS命名空间155 6.5.3通信协议和客户端155 6.5.4HDFS 1.0体系结构的局限性155 6.5.5HDFS 2.0设计156 6.6HDFS存储原理156 6.6.1数据的冗余存储156 6.6.2如何存取数据157 6.6.3如何恢复数据158 6.7HDFS的文件读写操作过程159 6.7.1HDFS读取数据的过程159 6.7.2HDFS写入数据的过程161 6.8HDFS编程实例163 6.8.1使用Shell命令与HDFS进行交互163 6.8.2在Web上显示HDFS165 6.8.3使用Java API与HDFS进行交互166 6.9本章小结170 习题170 第7章MapReduce171 7.1MapReduce概述171 7.1.1MapReduce的基本概念171 7.1.2MapReduce的思想172 7.1.3MapReduce的抽象方法173 7.2Map和Reduce任务173 7.2.1函数式编程173 7.2.2mapper和reducer174 7.3MapReduce执行框架和工作流程176 7.3.1执行框架176 7.3.2MapReduce工作流程概述178 7.3.3Shuffle执行过程179 7.3.4分割器和组合器182 7.4MapReduce算法及应用183 7.4.1概述183 7.4.2本地聚合183 7.4.3对和条纹188 7.4.4相对频率191 7.5MapReduce编程实例193 7.6本章小结197 习题197 第8章数据可视化199 8.1大数据可视化概述199 8.1.1何为数据可视化199 8.1.2大数据可视化方法203 8.2大数据可视化软件工具213 8.2.1Excel213 8.2.2Tableau214 8.2.3魔镜214 8.2.4ECharts215 8.2.5D3215 8.3数据可视化实例216 8.3.1用Tableau制作一个图表实例216 8.3.2用魔镜制作一个图表实例222 8.3.3用ECharts制作一个图表实例225 8.4本章小结226 习题227 第9章大数据**228 9.1大数据**概述228 9.1.1大数据**的基本概念228 9.1.2云**与大数据**231 9.1.3大数据**技术分类231 9.1.4大数据**管理体系架构232 9.2大数据隐私保护233 9.2.1大数据隐私保护的意义和重要作用233 9.2.2大数据隐私保护面临的问题与挑战234 9.2.3大数据隐私保护技术236 9.3大数据在**管理中的应用239 9.3.1大数据在公共**管理中的应用239 9.3.2大数据在煤矿**管理中的应用241 9.3.3大数据在**管理应急方面的应用242 9.4数据**技术247 9.4.1数据交互**与**技术247 9.4.2静态数据**技术247 9.4.3动态数据**技术248 9.4.4数据**实例248 9.5本章小结249 习题249 第10章大数据应用案例250 10.1大数据在智慧**中的应用250 10.1.1大数据在**信息化行业的应用250 10.1.2大数据在临床决策支持系统的功能应用252 10.1.3大数据在远程**方面的应用253 10.2大数据在金融行业中的应用256 10.2.1民生银行在大数据上的应用256 10.2.2大数据在阿里巴巴上的应用258 10.2.3大数据时代信用卡的使用259 10.2.4Kabbage 用大数据开辟新路径260 10.3大数据在智慧校园中的应用261 10.3.1大数据在微课方面的应用261 10.3.2大数据在慕课方面的应用262 10.3.3大数据在智慧教育云下的应用264 10.3.4大数据在学习分析及干预中的应用266 10.4大数据在智慧城市中的应用267 10.4.1大数据在智慧城市中应用与管理方面的应用267 10.4.2大数据在智慧城市中环境方面的应用268 10.4.3大数据挖掘技术在智能交通中的应用269 10.5本章小结271 习题272 参考文献273