“大数据”一词已成为当下*热门的词汇之一。人们热切期待大数据能给工作、学习和生活等方面带来****的变化,而大数据的采集、存储、计算、分析挖掘、呈现和**等技术正是实现这一变化的关键。《大数据技术全解:基础、设计、开发与实践》的**不在于对大数据技术的原理性介绍,而是从实战角度出发,系统地阐述如何基于Hadoop开源软件为客户设计、安装和开发一个大数据系统。《大数据技术全解:基础、设计、开发与实践》还着重分享了具体实践中的一些案例,不仅对于从事大数据系统开发的IT技术人员具有珍贵的参考价值,而且对准备实施大数据系统项目的企业级客户也具有指导作用。
《大数据技术全解:基础、设计、开发与实践》可以作为计算机软件专业的本科生和研究生的大数据技术教材,也可作为大数据技术开发培训、大数据系统咨询规划培训的教材,更是大数据领域内一线的需求分析��员、系统分析人员、**开发人员和开发管理人员的**参考书。

1.3 谷歌的三把利剑
1998 年,斯坦福大学的博士生拉里·佩奇和谢尔盖·布林在车库里创建了谷歌(Google)
公司。15 年后的今天,google.com 成为全世界访问量*高的站点之一。Google 在全球部署了
约200 多万台服务器,每天处理数以亿计的搜索请求和存储24PB 用户生成的数据,这些数据
还在不断地迅速增长中。
成就这一切的秘密正是Google 被称为“三把利剑”的三项核心技术,即分布式文件系统
GFS、Map/Reduce 编程模式和分布式数据库BigTable。Google 一直不保守,从2003 年开始
连续几年发表论文,向世人揭示了这三项核心技术。一些开源组织和大公司基于这三项核心
技术的原理,也纷纷开发了自己的产品,比如**的Hadoop 系统。目前Hadoop 已成为企业
构建大数据平台的**产品。大数据成为当下*热的领域,*值得称道的还是Google 公司的
这种分享精神。
1.4 智慧改变世界
从上面的两个小故事和一个传奇的创业经历中不难发现,无论什么时代都需要智慧的人
做智慧的事。
孟德尔的智慧在于用了假说演绎的方法,发现了遗传学的秘密,但其前提是大量实验数
据的积累和后期的分类归纳,用当下时髦的话可以说这是一个“应用大数据”的经典案例,
只是可惜孟德尔没有生活在今天这个大数据时代。
曹冲称象的智慧在于采取了分而治之的方法,用多杆小秤同时分别称出多个石块的重量,
然后将所有石块的重量合加就是大象的重量。曹冲在小小年纪能把一个不可分的整体(大象)
看成由另一个可由多个部分构成的可分整体(一堆石块),这是需要一种大智慧的。这种分
而治之正是分布式的核心理念,在这个小故事里分拆和归纳的用法道出了MapReduce 的本质。
开一句玩笑的话,可以说MapReduce 的这种模式是中国古代人发明的。
Google 的智慧可以说是逼出来的智慧,如果当时有大笔投资给这两个年轻人,他们不一
定会用廉价PC 和自己动手做的小软件来构建网站,也就不会有今天这个人人称颂的创业传奇
故事的存在。Google 用分布式文件系统GFS、MapReduce 编程模式和分布式数据库BigTable
这“三把利剑”征服了世界,改变了IT 领域的格局,让许多传统的IT 巨头低下了昂贵的头
颅,不得不重新审视自身对技术的认知。Google 更被人称颂的是,他们没有把这三把利剑藏
起来据为己用,而是拿出来与全世界共享。
孟德尔的豌豆杂交实验让人们知道如何使用大数据,曹冲称象让人们知道处理大数据的
方法,而Google 告诉了人们如何构建一个大数据系统。

第1 篇 基础篇
第1章 大数据的三把利剑
1.1 豌豆杂交实验
1.2 曹冲称象启示
1.3 谷歌的三把利剑
1.4 智慧改变世界
第2章 企业的大数据观
2.1 企业面临的挑战
2.1.1 数据能力是核心竞争力
2.1.2 从粗放经营到智慧经营
2.1.3 技术与商业的双重挑战
2.2 企业大数据从哪来
2.2.1 来自于主体的产生
2.2.2 来自于客体的产生
2.2.3 来自于社会的产生
2.3 企业大数据如何存储
2.3.1 非结构化数据存储
2.3.2 结构化数据存储
2.3.3 半结构化数据存储
2.3.4 大数据存储的问题
2.4 企业大数据如何加工
2.4.1 分析或挖掘模型设计
2.4.2 并行处理程序编码
2.4.3 结果在全局中呈现
2.5 企业的大数据到哪里去
2.5.1 大数据对企业影响深远
2.5.2 大数据是一种新商品
2.5.3 精准营销需要大数据
2.6 企业大数据观总结
第3章 大数据和大数据系统
3.1 大数据
3.1.1 大数据概念
3.1.2 大数据的特征
3.1.3 数据计量单位
3.1.4 大数据来源
3.1.5 大数据类型
3.2 大数据系统
3.2.1 设计目标和原则
3.2.2 系统的设计思想
3.2.3 系统的逻辑架构
3.2.4 与现有系统的关系
3.2.5 当前的大数据系统
第2 篇 技术篇
第4章 分布、键值对与族
4.1 分布与MapReduce
4.2 键值对的奥妙所在
4.3 动态数据库表原理
第5章 HDFS(分布式文件系统)
5.1 设计目标
5.2 基本概念
5.2.1 块
5.2.2 名称节点与数据节点
5.3 系统架构
5.3.1 逻辑架构
5.3.2 物理架构
5.4 运行机制
5.4.1 文件读取
5.4.2 文件写入
5.4.3 特别关注
5.5 系统功能
5.5.1 多文件系统
5.5.2 目录管理
5.5.3 文件管理
5.5.4 文件归档
5.5.5 并行复制
5.6 系统I/O 特性
5.6.1 完整性校验
5.6.2 压缩与编码解码
5.6.3 序列化
5.6.4 特殊文件结构
5.7 非Java 访问接口
5.8 系统性能
5.8.1 可靠性措施
5.8.2 性能优化
第6章 MapReduce 分布式编程模式
6.1 不同于传统
6.2 设计思想
6.3 基本概念
6.3.1 map()函数
6.3.2 reduce()函数
6.3.3 键值对
6.3.4 中间结果
6.3.5 移动代码
6.3.6 作业和任务节点
6.4 系统架构
6.4.1 逻辑架构
6.4.2 物理架构
6.5 运行机制
6.5.1 作业运行
6.5.2 作业调度
6.5.3 任务执行
6.5.4 状态更新
6.5.5 作业完成
6.5.6 故障处理
6.6 关键技术
6.6.1 计数器
6.6.2 排序
6.6.3 连接
6.6.4 shuffle
6.6.5 内存处理
6.6.6 分布式缓存
6.7 类型与格式
6.7.1 MR 的类型
6.7.2 输入格式
6.7.3 输出格式
6.8 MR 的开发
6.8.1 开发端环境的建立
6.8.2 开发及单元测试
6.8.3 本地运行测试
6.8.4 集群运行
6.8.5 作业调试
6.8.6 远程调试
6.8.7 作业调优
6.9 MR 工作流
第7章 HBase 分布式数据库
7.1 设计目标
7.2 基本概念
7.2.1 逻辑模型
7.2.2 物理模型
7.2.3 区域
7.2.4 基本单元
7.2.5 Region 服务器.
7.2.6 Master 主服务器.
7.2.7 .META.元数据表
7.2.8 -ROOT-元数据表
7.3 系统架构
7.3.1 逻辑架构.
7.3.2 物理架构.
7.4 运行机制
7.5 系统功能
7.5.1 用户界面.
7.5.2 shell 操作
7.6 库表设计
7.7 访问接口
第3 篇 设计篇
第8章 系统设计背景和目标
8.1 系统设计背景.
8.2 系统设计目标.
8.2.1 存在问题.
8.2.2 设计目标.
第9章 系统架构设计
9.1 逻辑架构设计
9.1.1 系统逻辑架构
9.1.2 系统运行逻辑
9.2 功能架构设计
9.2.1 大数据管理系统的功能
9.2.2 ZooKeeper 系统的功能
9.2.3 Chukwa 采集系统的功能
9.2.4 Pig 系统功能
9.2.5 Hive 系统功能
9.3 数据架构设计
9.3.1 数据总体架构
9.3.2 分布式文件数据结构
9.3.3 分布式数据库数据结构.
9.3.4 关系型数据库数据构成.
第10章 运行架构设计
10.1 物理架构设计
10.1.1 网络拓扑
10.1.2 软/硬件选型
10.2 集成架构设计
10.2.1 总体集成设计
10.2.2 专项集成设计
10.3 **架构设计
10.3.1 用户层**.
10.3.2 应用层**.
10.3.3 数据层**.
10.4 开发架构设计
第4 篇 安装篇
第11章 安装规划
11.1 安装目标
11.2 安装步骤
第12章 环境准备
12.1 主机准备
12.2 介质准备
12.3 基础安装
12.3.1 JDK 安装
12.3.2 用户创建
12.3.3 SSH 配置
第13章 集群安装
13.1 HDFS 集群
13.1.1 解析配置
13.1.2 模板创建
13.1.3 复制分发
13.1.4 运行启动
13.1.5 测试验证
13.2 HBase 集群
13.2.1 解析配置
13.2.2 模板创建
13.2.3 复制分发
13.2.4 运行启动
13.2.5 测试验证
13.3 ZooKeeper 集群
13.3.1 解析配置
13.3.2 模板创建
13.3.3 复制分发
13.3.4 运行启动
13.3.5 测试验证
第14章 分布式应用安装
14.1 Pig 安装
14.1.1 本地安装
14.1.2 本地验证
14.1.3 集成配置
14.1.4 集成验证
14.2 Hive 安装.
14.2.1 内嵌安装与验证
14.2.2 从内嵌改为独立
14.2.3 从独立改为远程
14.3 Chukwa 安装.
14.3.1 基础系统安装
14.3.2 代理系统安装
14.3.3 收集系统的安装
14.3.4 作业系统的安装
14.3.5 HICC 系统的安装
第15章 集成联调
15.1 集群间的集成联调
15.1.1 HBase 与HDFS集成联调
15.1.2 HBase 与ZooKeeper集成联调
15.2 分布式应用与集群间的集成联调
15.2.1 Pig 与HDFS 的集成
15.2.2 Hive 与HDFS 的集成
15.2.3 Hive 与Hbase的集成.
15.2.4 Chukwa 与HDFS的集成.
15.3 客户端与分布式系统间的集成联调.
15.3.1 与分布式集群系统的集成.
15.3.2 与分布式应用系统的集成
第5 篇 开发篇
第16章 大数据系统应用开发思路和环境
16.1 总体思路
16.1.1 大数据读写应用的开发
16.1.2 大数据分析应用的开发
16.2 开发环境
16.2.1 Plugin 插件的安装
16.2.2 Hadoop 开发环境的配置
16.2.3 示例程序验证
第17章 HDFS 文件读/写应用开发
17.1 文件列表
17.2 文件读取
17.3 文件上传
17.4 文件创建
17.5 文件写入
17.6 文件压缩与解压
17.6.1 压缩写入
17.6.2 解压后读取
17.7 目录创建
17.8 文件重命名
17.9 删除文件
17.10 查看文件时间
17.11 查看文件是否存在
17.12 查找文件位置
17.13 查找集群所有的节点.
17.14 SequenceFile 文件格式转换
17.14.1 创建SequenceFile 格式的文件.
17.14.2 读取SequenceFile 格式的文件.
17.15 MapFile 文件格式转换.
17.15.1 创建MapFile 格式的文件.
17.15.2 读取MapFile 格式的文件.
17.15.3 SequenceFile 格式转换成MapFile 格式.
第18章 HBase 数据库读/写应用开发
18.1 创建表
18.2 删除表
18.3 查询数据库中的表
18.4 插入记录.
18.5 查询记录.
18.5.1 列族的查询.
18.5.2 查询所有记录
18.5.3 基于行键查询
18.5.4 基于标签值查询
18.5.5 组合条件查询
18.6 修改记录.
18.7 删除记录.
第19章 ZooKeeper 开发
19.1 创建节点
19.2 删除节点
19.3 加入子节点
19.4 列出节点成员
19.5 获取节点内容
第20章 MapReduce 开发
20.1 定制数据类型
20.2 定制输入格式
20.3 定制输出格式
20.4 将整个文件作为输入
20.5 小文件聚合成一个文件
20.6 多集合文件输出
20.7 对压缩数据处理
20.8 定制partioner
20.9 定制combiner
20.10 MapReduce 组合
20.10.1 迭代组合
20.10.2 线性组合
20.10.3 依赖组合
20.10.4 前后链式组合
20.11 多数据源连接
20.11.1 Reduce 端连接
20.11.2 Map 端连接
20.11.3 Map 端过滤的Reduce端连接
20.12 全局参数应用
20.13 全局文件应用
20.14 关系数据库访问
20.14.1 关系数据库读取
20.14.2 关系数据库的写入
第21章 Pig 开发
21.1 脚本编程.
21.1.1 脚本语言
21.1.2 脚本编程
21.1.3 脚本运行
21.2 自定义函数
21.2.1 编译打包
21.2.2 测试运行
第22章 Hive 开发.
22.1 HiveQL 语言.
22.1.1 HiveQL 的数据类型
22.1.2 HiveQL 的常用操作
22.2 UDF 编码
22.3 UDAF 编码
22.4 客户端编码
22.4.1 与Hive 服务器端连接建立.
22.4.2 与Hive 进行指令交互.
22.4.3 客户端命令组织
22.4.4 程序运行结果
第6 篇 实践篇
第23章 企业大数据盘系统
23.1 系统开发背景
23.2 系统架构设计
23.3 系统功能设计
23.4 系统代码实现
第24章 Hadoop 的日志分析
24.1 系统开发背景
24.2 系统架构设计
24.3 系统功能设计
24.4 系统代码实现
24.4.1 系统连接代码
24.4.2 Hive 模块代码
24.4.3 系统组织代码
24.5 系统实现效果
参考文献

特别**: 自己动手写CPU(含CD光盘1张) Java特种兵(上册)(含CD光盘1张) 搜酷:全球智能硬件与技术精华集(全彩)
三分虚拟技术,七分分布式管理,十二分大数据,深入大数据系统设计、环境安装、开发实践,助你快速投入实战,直接具备大数据系统研发能力。 **购买: 大数据:技术与应用实践指南
**阅读: 创新设计:如何打造赢得用户的产品、服务与商业模式 互联网创业密码(互联网创业真人真事深度访谈实录:唱吧、胡莱和百思不得姐、春雨医生、视频达人秀、醋溜科技、爱记账、布丁、恺英、3W 咖啡、塔防三国志和贝瓦。)
同作者作品链接: 软件需求十步走——新一代软件需求工程实践指南(国内真正讲清软件需求的著作!切实解决软件需求的不完整、不准确等难点问题,有助开发能用、好用、耐用的软件产品) **购买:管理海量数据——压缩、索引和查询(第2版)(经典再现全新修订版)(大数据时代**技能,数据挖掘、数据统计分析,信息检索与数据化运营的基础技术,斯坦福大学信息检索和挖掘课程的**教材)