本书详细介绍了大数据技术的基础理论和主流前沿技术。全书共分9章，分别介绍目前面临的大数据时代、大数据系统的基本结构、大数据采集与预处理、大数据处理基础架构——云计算、计算模式与处理系统、查询展现与交互、大数据分析与数据挖掘、隐私与**、前沿技术及应用、行业案例研究。 每一章除讲解相关理论外，还讲解了适用技术及案例。各章都附有案例以帮助读者学习、理解和实际工程应用。为方便教师教学，本书附有全套教学PPT课件、教学大纲、教学计划。 本书主要作为高等院校计算机类专业、电子信息类专业、经济类专业、管理类专业相关本科生和研究生专业基础课的教材，也可以作为干部培训、职业技术教育以及职业培训机构的云计算与大数据分析技术的专业训练教材。

**部分大数据基础知识 第1章大数据时代3 1.1数据时代3 1.1.1大数据时代的到来3 1.1.2数据、信息与知识的演进3 1.1.3数据6 1.2大数据8 1.2.1什么是大数据8 1.2.2大数据发展历史与现状9 1.2.3大数据产业10 1.3大数据技术基础10 1.3.1传统的大数据处理流程10 1.3.2大数据核心技术11 1.3.3大数据技术分类12 1.3.4大数据分析的方法理论14 1.4大数据的社会价值15 1.5大数据的商业应用16 1.5.1商业大数据的类型和价值挖掘方法16 1.5.2大数据的十大商业应用场景17 1.5.3成为“大数据企业”19 1.6大数据应用案例: 《非诚勿扰》男女嘉宾牵手数据分析19 习题与思考题23 第2章大数据系统的基本架构24 2.1大数据系统总体架构24 2.2大数据技术框架25 2.3大数据技术进展27 2.3.1典型的大数据技术栈28 2.3.2大数据技术生态28 2.4大数据应用案例: 在“北上广”打拼是怎样一种体验30 习题与思考题34 〖3〗大数据技术及应用教程(第2版)目录〖3〗第二部分大数据理论与技术 第3章大数据系统输入39 3.1大数据采集过程及数据来源39 3.1.1大数据采集来源39 3.1.2大数据采集过程40 3.2大数据采集方法40 3.3大数据导入/预处理42 3.3.1大数据导入/预处理的过程42 3.3.2数据清洗的过程44 3.3.3数据清洗与数据采集技术46 3.3.4基于大数据的数据预处理47 3.4数据集成49 3.4.1数据集成的概念49 3.4.2数据集成面临的问题49 3.5数据变换49 3.5.1异构数据分析50 3.5.2异构数据交换策略51 3.5.3异构数据交换技术52 3.6大数据应用案例: 电影《爸爸去哪儿》大卖有前兆吗54 习题与思考题61 第4章大数据系统处理63 4.1云计算63 4.1.1云计算系统的体系结构63 4.1.2云计算的核心技术64 4.1.3云计算的主要服务形式68 4.1.4大数据平台的作用69 4.2大数据存储70 4.2.1海量数据的存储需求71 4.2.2海量数据存储技术71 4.2.3云存储72 4.2.4NoSQL非结构化数据库73 4.2.5数据仓库74 4.3大数据计算模式与处理系统75 4.3.1数据计算75 4.3.2聚类算法77 4.3.3数据集成77 4.3.4数据处理语言81 4.4大数据应用案例: 北京人在哪儿上班和睡觉82 习题与思考题85 第5章大数据系统输出87 5.1数据的查询87 5.1.1在常规数据库查询结构化数据87 5.1.2大数据时代的数据搜索87 5.1.3数据库与信息检索技术的比较89 5.2网络数据索引与查询技术90 5.2.1搜索引擎技术概述90 5.2.2Web搜索引擎的工作原理91 5.3大数据索引和查询技术94 5.3.1大数据索引和查询94 5.3.2大数据处理索引工具MapReduce94 5.3.3相似性搜索工具96 5.4数据展现与交互98 5.4.1数据可视化98 5.4.2知识图谱103 5.5大数据应用案例: 上海的房子都被谁买走了105 习题与思考题109 第6章大数据分析与数据挖掘111 6.1大数据分析及其应用111 6.1.1数据处理和分析的发展111 6.1.2大数据分析面对的数据类型113 6.1.3大数据分析与处理方法114 6.1.4数据分析的步骤114 6.1.5大数据分析的应用116 6.2数据挖掘技术119 6.2.1数据挖掘的定义119 6.2.2利用数据挖掘进行数据分析的常用方法120 6.2.3数据挖掘的功能121 6.2.4数据挖掘的流程122 6.2.5数据挖掘的应用124 6.3商业智能与数据分析125 6.3.1商业智能技术辅助决策的发展125 6.3.2商业智能系统架构125 6.3.3商业智能的技术体系125 6.3.4商务智能=数据 分析 决策 利益127 6.4大数据营销业务模型128 6.4.1大数据对业务模式的影响128 6.4.2大数据营销的定义与特点129 6.4.3网络营销大数据实际操作132 6.4.4大数据营销方法135 6.5基于社会媒体的分析预测技术139 6.5.1基于空间大数据的社会感知139 6.5.2基于社会媒体的预测技术142 6.5.3基于消费意图挖掘的预测144 6.5.4基于事件抽取的预测146 6.5.5基于因果分析的预测147 6.6大数据应用案例: 用大数据看风水——以星巴克和海底捞的选址为例150 习题与思考题153 第7章大数据隐私与**155 7.1大数据面临的**问题155 7.2大数据**与隐私保护的关键技术159 7.2.1基于大数据的威胁发现技术159 7.2.2基于大数据的认证技术160 7.2.3基于大数据的数据真实性分析161 7.2.4大数据与“**即服务”162 7.3大数据**的防护策略162 7.4大数据应用案例: 数据解读城市——北京本地人VS外地人163 习题与思考题172 第三部分大数据前沿技术及应用 第8章大数据前沿技术及应用概述175 8.1大数据技术发展趋势175 8.2机器学习177 8.2.1机器学习的定义和例子177 8.2.2机器学习的范围179 8.2.3机器学习的算法181 8.2.4机器学习的应用——大数据186 8.3深度学习188 8.3.1深度学习的概念188 8.3.2深度学习的应用190 8.4人工智能191 8.4.1大数据时代的人工智能192 8.4.2人工智能的应用范例192 8.4.3人工智能概念与分类195 8.5大数据应用案例： 神经网络——阿尔法围棋（AlphaGo）196 第四部分行 业 案 例 第9章行业案例研究203 9.1银行业应用203 9.1.1大数据时代: 银行如何玩转数据挖掘203 9.1.2中国工商银行客户关系管理案例205 9.1.3银行风险管理208 9.2保险业应用212 9.2.1保险业拥抱大数据时代或带来颠覆性变革212 9.2.2保险欺诈识别214 9.3证券期货应用215 9.3.1安徽省使用大数据监管证券期货215 9.3.2大数据分析挖出基金“老鼠仓”的启示216 9.4金融行业应用217 9.4.1大数据决定互联网金融未来217 9.4.2移动大数据在互联网金融反欺诈领域的应用220 9.5大数据应用案例: 网民睡眠面面观222 参考文献224