四十多年来,在数据库界,关系数据模型的提出、事务管理理论和技术的完善、查询处理和优化技术的发展被公认为具有里程碑意义的三大事件。数据库产业的发展和壮大,特别是通过市场和战略的竞争,几大数据库厂商*终胜出,标志着传统数据库技术的成熟。几乎在同时,数据库界自身以及实际应用领域的专业人士充分意识到传统数据库技术的局限性。在关系数据库理论基本完善之后,人们很快就开始了对新型数据模型、数据的在线分析、数据流技术的研究,对web数据和科学数据管理等的���索也由来已久。新的应用需求所涉及的数据具有量大、结构复杂、来源多样、用户群规模大且需求各异等共同特点。针对这些应用,人们深入研究了半结构化数据管理技术、智能数据集成、按列存储数据管理、分布并行高可靠的存储和计算以及海量数据分析技术,提出了相应的解决方案。
随着大数据时代的到来,人们把信息技术发展的**从计算转向数据。互联网提供的服务是典型的以数据处理为**的服务;企业关注的**也从计算能力建设转向数据分析处理能力的建设。整个信息技术行业从追求计算速度转变为数据处理能力、软件也转变为以提供数据分析和处理服务为基本目标。无论是对新型的互联网企业还是传统的制造业或商业企业,毫不夸张地说,业务就是数据本身。数据变得越来越重要,数据的价值也被充分认识和理解。在这种形势下,重新审视数据管理的传统方法和基本理念,了解相关的前沿技术并赋予其崭新的内涵,成为计算机科学、统计学以及信息资源管理等与数据相关的相关学科发展的必不可少的功课。
多年来,学术界和工业界的许多研究者对数据管理技术进行了大量的研究,沿着不同的道路进行了有益的探索,形成了各自的知识体系,内容非常丰富,这使得面向工程或面向应用的学习者或实践者在学习数据管理的知识时,没有既定的模式,而需要围绕一个具有系统性的主线来理解相关内容;同时,每个侧面和关键问题都有许多解决方案,这使得知识的学习不可能面面俱到,而需要注重技术的内涵和方法的理念。作为高校和科研院所的研究与开发人员,迫切需要系统性地把握数据管理的基本概念、关键问题和支撑技术。迄今为止,学术界和工业界还缺乏满足上述学习需求和学科特点的著作。
当前,以社交媒体数据分析、互联网广告、基于位置的服务和实时商务智能为典型应用的大数据研究,成为了人们关注的焦点。这些技术正在深刻地影响并不断改变着各领域的科学研究,以及人们工作和生活的方式。无论是传统的数据库还是新兴的大数据研究,在研究理念和方法学上是一脉相承的,从特定应用到技术方案、到理论和模型、再到系统和产品,从存储到查询优化、再到分析服务,即工程化和应用驱动的数据管理,这是数据库发展历史及辉煌成就给予我们对数据管理技术研究的启示。