本书面向从事大数据存储系统设计及相关技术研究和开发工作的读者。既可以作为存储 系统架构师、软件开发工程师、产品或项目经理、数据**运维人员等的实用工具书，还可 以作为普通高等院校计算机和大数据科学相关专业的教学或科研人员、研究生、高年级本科 生及相关培训机构学员的学习参考书。

第1章概述1 1.1 大数据简介2 1.1.1 大数据定义和维度2 1.1.2 大数据管理挑战6 1.2 **能存储管理9 1.2.1 存储虚拟化10 1.2.2自动分层存储13 1.2.3 自动精简配置17 1.2.4 数据缩减技术19 1.3 本章小结21 第2章存储技术基础23 2.1 存储介质24 2.1.1 磁存储介质24 2.1.2 光存储介质26 2.1.3 电子存储介质28 2.2 存储接口32 2.2.1 IDE接口33 2.2.2 SATA接口33 2.2.3 SCSI接口34 2.2.4 SAS接口35 2.2.5 PCIE接口36 2.2.6 FC接口37 2.3 存储系统架构38 2.3.1 存储器分层结构38 2.3.2 RAID技术40 2.4 网络存储系统44 2.4.1 直接连接存储44 2.4.2 网络附加存储46 2.4.3 存储区域网络47 2.4.4 基于对象存储48 2.4.5 几种存储结构的比较49 2.5 本章小结51 第3章大数据管理技术52 3.1 分布式计算框架53 3.2 分布式文件系统56 3.2.1 HDFS58 3.2.2 Ceph59 3.2.3 Lustre 61 3.3 NoSQL数据库63 3.3.1 HBase64 3.3.2 MongoDB66 3.4 大数据仓库67 3.4.1 Hive68 3.4.2 Pig69 3.4.3 Phoenix70 3.5 本章小结73 第4章重复数据删除存储系统74 4.1 重复数据删除的概念及分类75 4.1.1 基本概念76 4.1.2 技术分类78 4.2 重复数据删除存储原理81 4.2.1 系统架构81 4.2.2 主要步骤82 4.2.3 衡量指标83 4.3 重复数据删除技术应用场景84 4.3.1 数据备份84 XI 4.3.2 归档存储85 4.3.3 远程容灾85 4.3.4 虚拟化环境86 4.3.5 主存储系统86 4.3.6 新型存储介质87 4.4 相关产品及开源项目87 4.4.1 企业产品88 4.4.2 开源项目91 4.5 本章小结94 第5章重复数据删除关键技术95 5.1 数据划分方法96 5.1.1 全文件分块97 5.1.2 静态分块97 5.1.3 基于内容分块98 5.1.4 基于应用分块100 5.1.5 Delta编码100 5.2 块索引查询优化技术102 5.2.1 基于块局部性的优化策略102 5.2.2 基于分层消重的优化策略104 5.2.3 基于固态存储的优化策略105 5.3 可扩展数据路由技术107 5.3.1 基于分布式哈希表的块级数据路由技术107 5.3.2 基于状态信息的超块级数据路由技术108 5.3.3 基于相似性的文件级数据路由技术109 5.4 块指纹计算加速方法110 5.4.1 多核CPU加速方法110 5.4.2 GPGPU加速方法111 5.5 数据还原方法113 5.5.1 主存储还原方法113 5.5.2 备份存储还原方法113 5.5.3 云存储还原方法115 5.6 垃圾回收技术116 5.6.1 引用计数法116 5.6.2 标记清理法117 5.7 高可靠数据配置策略118 5.7.1 纠错编码技术118 5.7.2 副本策略119 5.8 数据**技术120 5.8.1 加密冲突121 5.8.2 旁路攻击121 5.8.3 所有权证明122 5.9 本章小结123 第6章应用感知源端重复数据删除机制124 6.1 研究背景125 6.2 相关研究工作127 6.2.1 应用感知存储研究127 6.2.2 基于源端重复数据删除的云备份研究127 6.3 基本形式化模型128 6.3.1 符号与基本定义128 6.3.2 模型抽象与问题定义129 6.4 研究动机132 6.5 **应用感知源端重复数据删除的设计与实现139 6.5.1 ALG-Dedupe体系结构简介139 6.5.2 文件大小过滤器140 6.5.3 智能数据分块策略141 6.5.4 应用感知的消重器141 6.5.5 应用感知索引结构142 6.5.6 段和容器管理143 6.6 实验评估144 6.6.1 实验平台和数据集144 6.6.2 重复数据删除效果145 6.6.3 重复数据删除效率146 6.6.4 云备份窗口147 6.6.5 能耗利用率148 6.6.6 云存储代价149 6.6.7 系统开销150 6.7 本章小结151 第7章高可扩展集群重复数据删除技术152 7.1 研究背景154 7.2 相关研究工作155 7.3 基本模型与算法157 7.3.1 超块相似性分析158 7.3.2 基于手纹的数据路由算法160 7.4 系统设计与实现162 7.4.1 Σ-Dedupe系统架构162 7.4.2 数据路由消息通信164 7.4.3 相似索引查询优化165 7.5 性能评估166 7.5.1 实验平台和工作负载167 7.5.2 验证度量167 7.5.3 单节点并行重复数据删除效率168 7.5.4 集群重复数据删除效率172 7.6 本章小结176 第8章重复数据删除存储案例分析177 8.1 重复数据删除缩减率评估178 8.2 主流厂商相关产品应用案例181 8.2.1 DellEMC公司产品案例181 8.2.2 IBM公司产品案例195 8.2.3 飞康软件公司产品案例199 8.2.4 富士通公司产品案例204 8.2.5 NetApp公司产品案例211 8.2.6 Quantum公司产品案例218 8.3 本章小结224