为培养学生理解大数据、处理大数据以及大数据系统优化的能力,《大数据处理》从思维、编程、优化三个方面系统阐述大数据处理的系统架构、编程、优化等核心技术以及方法。
《大数据处理》内容共9章,包括大数据处理基础、大数据存储基础、大数据管理基础、大数据编程、流计算、图计算、大数据系统管理、大数据系统优化技术、大数据资源链接等内容,技术章节内容均设有导言、习题和参考文献。
《大数据处理》既可供高校相关专业教学使用,也可供大数据领域工程师或者有志于大数据领域工作或研究的科技人员使用。

第1章 大数据处理基础
1.1 大数据特征
1.1.1 基本特征
1.1.2 数据模型
1.2 大数据存储模式
1.2.1 分布式文件系统
1.2.2 大数据存储形式
1.2.3 大数据存储实例
1.3 大数据处理模式
1.3.1 并行处理
1.3.2 分布式处理
1.3.3 控制流的处理
1.3.4 数据流的处理
1.4 大数据编程模式
1.4.1 批处理
1.4.2 流处理
1.4.3 交互式数据处理
1.4.4 图处理
1.5 大数据处理体系结构
1.5.1 数据**
1.5.2 数据**体系结构
1.5.3 数据**的网络拓扑结构
1.6 本章小结与全书内容组织
参考文献
习题

第2章 大数据存储基础
2.1 分布式存储系统简介
2.1.1 分布式存储系统的基本概念
2.1.2 数据分布
2.1.3 复制与一致性
2.1.4 容错机制
2.1.5 可扩展性
2.2 分布式文件系统
2.2.1 分布式文件系统概述
2.2.2 HDFS的系统架构
2.2.3 数据分布
2.2.4 复制与一致性
2.2.5 容错机制
2.2.6 读写流程
2.3 分布式键值系统
2.3.1 分布式键值系统概述
2.3.2 Dynamo概述
2.3.3 数据分布
2.3.4 复制与一致性
2.3.5 容错机制
2.3.6 负载均衡
2.3.7 读写流程
2.4 新型存储器件驱动的内存系统
2.4.1 内存系统对大数据处理的重要性
2.4.2 非易失性存储器
2.4.3 异构内存系统
2.5 本章小结
参考文献
习题

第3章 大数据管理基础
3.1 大数据管理挑战概述
3.1.1 面向数据管理的大数据特征
3.1.2 大数据的管理需求
3.2 大数据的划分
3.2.1 数据划分方法
3.2.2 数据一致性理论
3.3 大数据的组织管理方式
3.3.1 关系数据库
3.3.2 Key-Value数据库
3.3.3 列族数据库
3.3.4 文档数据库
3.3.5 图数据库
3.4 大数据仓库系统
3.4.1 数据仓库的发展历史
3.4.2 大数据仓库的特性
3.4.3 实例:Hive分析
3.4.4 大数据仓库的未来
3.5 本章小结
参考文献
习题

第4章 大数据编程
4.1 函数式编程
4.1.1 函数式编程的起源
4.1.2 函数式语言家族成员
4.1.3 函数式编程的概念及特点
4.2 MapReduce编程
4.2.1 MapReduce的起源
4.2.2 MapReduce的工作原理
4.2.3 MapReduce的主要特点
4.3 MapReduce案例研究
4.3.1 WordCount程序分析
4.3.2 PageRank程序分析
4.4 本章小结
参考文献
习题

第5章 大数据流处理
5.1 流处理基础和应用
5.1.1 流处理概述
5.1.2 流处理应用
5.2 分布式流计算
5.2.1 数据封装
5.2.2 建立应用拓扑
5.2.3 指定操作的并行度
5.2.4 指定数据分组与传输方式
5.2.5 本节小节
5.3 开源系统及编程模型
5.3.1 Apache Storm
5.3.2 Spark Stmaming
5.3.3 Apache Flink
5.4 流处理系统机制及优化
5.4.1 流处理调度及优化
5.4.2 流处理一致性语义
5.4.3 流处理容错
参考文献
习题

第6章 图计算
6.1 图计算背景
6.1.1 图计算简介
6.1.2 图计算特点
6.1.3 图计算实例
6.2 图计算并行编程模型
6.2.1 以点为**的编程模型
6.2.2 以边为**的编程模型
6.2.3 以路径为**的编程模型
6.2.4 以子图为**的编程模型
6.3 图划分和通信
6.3.1 图划分策略
6.3.2 消息推送机制
6.4 单机图计算系统
6.4.1 内存图计算系统
6.4.2 核外图计算系统
6.5 图计算硬件加速技术
6.5.1 基于GPU的图计算加速技术
6.5.2 基于MIC的图计算加速技术
6.5.3 基于FPGA的图计算加速技术
6.5.4 基于ASIC的图计算加速技术
6.6 图算法案例
6.6.1 图拓扑属性算法
6.6.2 图数据管理和查询算法
6.7 图计算性能评价
6.8 本章小结
参考文献
习题

第7章 大数据系统管理
7.1 统一资源管理
7.1.1 统一资源管理的设计思想
7.1.2 统一资源管理的基本架构
7.1.3 统一资源管理的工作流程
7.2 大数据系统资源调度
7.2.1 资源调度系统的架构
7.2.2 典型调度算法
7.3 大数据系统的协调技术
7.3.1 协调系统的架构与原理
7.3.2 复制状态机模型
7.3.3 分布式一致性算法
7.4 案例研究
7.4.1 YARN
7.4.2 ZooKeeper
7.5 本章小结
参考文献
习题

第8章 大数据系统优化技术
8.1 存储优化
8.1.1 数据局部性优化
8.1.2 服务可扩展性优化
8.2 调度优化
8.2.1 调度模型
8.2.2 数据本地化
8.2.3 负载均衡
8.2.4 拖后腿问题与推测执行
8.3 运行时优化
8.3.1 中间结果缓存
8.3.2 序列化开销优化
8.4 本章小结
参考文献
习题

第9章 大数据资源链接

重要名词索引