本书主要介绍数据挖掘和数据分析的基本概念和方法,包括数据的基本属性和概念、数据预处理技术、数据立方体和OLAP技术、频繁模式挖掘、回归分析、分类、聚类、离群点分析。每一部分先介绍基本概念、理论基础、应用实例、思考习题。书中涉及的模型和算法均给予了相应的实例,便于读者更好的理解和使用模型。

第1章 概述1 1.1 数据分析与数据挖掘1 1.1.1 数据分析1 1.1.2 数据挖掘1 1.1.3 数据分析与数据挖掘的区别和联系3 1.2 分析与挖掘的数据类型3 1.3 数据分析与数据挖掘的方法7 1.4 数据分析与数据挖掘使用的技术8 1.5 应用场景及存在的问题12 1.5.1 数据分析与数据挖掘的应用12 1.5.2 存在的主要问题13 1.6 本书结构概述14 1.7 习题14 第2章 数据16 2.1 数据对象与属性类别16 2.1.1 属性的定义16 2.1.2 属性的分类16 2.2 数据的基本统计描述17 2.2.1 **趋势度量18 2.2.2 数据分散度量20 2.2.3 数据的图形显示22 2.3 数据的相似性和相异性度量26 2.3.1 数据矩阵与相异性矩阵26 2.3.2 标称属性的邻近性度量27 2.3.3 二元属性的邻近性度量28 2.3.4 数值属性的相异性29 2.3.5 序数属性的邻近性度量31 2.3.6 混合类型属性的相异性31 2.3.7 余弦相似性33目录数据分析与数据挖掘(第2版)2.4 习题34 第3章 数据预处理36 3.1 数据预处理及任务36 3.1.1 数据预处理的必要性36 3.1.2 数据预处理的主要任务39 3.2 数据清理40 3.2.1 缺失值、噪声和不一致数据的处理40 3.2.2 数据清理方式43 3.3 数据集成44 3.4 数据归约49 3.4.1 直方图49 3.4.2 数据立方体聚集50 3.4.3 属性子集选择52 3.4.4 抽样53 3.5 数据变换与数据离散化54 3.5.1 数据变换策略及分类54 3.5.2 数据泛化54 3.5.3 数据规范化55 3.5.4 数据离散化56 3.6 习题58 第4章 数据仓库与联机分析处理59 4.1 数据仓库基本概念59 4.1.1 数据仓库的定义59 4.1.2 数据仓库的性质59 4.1.3 数据仓库体系结构60 4.1.4 数据仓库设计模型61 4.2 数据仓库设计62 4.2.1 数据仓库的概念模型设计62 4.2.2 数据仓库的逻辑模型设计65 4.2.3 数据仓库的物理模型设计67 4.3 数据仓库实现68 4.4 联机分析处理81 4.4.1 OLAP简介81 4.4.2 OLAP与OLTP的关系82 4.4.3 典型的OLAP操作83 4.5 元数据模型87 4.5.1 元数据的类型88 4.5.2 元数据的作用88 4.5.3 元数据的使用89 4.6 习题90 第5章 回归分析91 5.1 回归分析概述91 5.1.1 变量间的两类关系91 5.1.2 回归分析的步骤92 5.2 一元线性回归93 5.2.1 原理分析93 5.2.2 回归方程求解及模型检验93 5.2.3 一元线性回归实例96 5.2.4 案例分析: 使用Weka实现一元线性回归99 5.3 多元线性回归105 5.3.1 原理分析105 5.3.2 回归方程求解及模型检验106 5.3.3 多元线性回归实例108 5.3.4 案例分析: 使用Weka实现多元线性回归110 5.4 多项式回归113 5.4.1 原理分析113 5.4.2 多项式回归实例114 5.4.3 案例分析: 使用Excel实现多项式回归117 5.5 习题123 第6章 频繁模式挖掘125 6.1 概述125 6.1.1 案例分析126 6.1.2 相关概念126 6.1.3 先验性质128 6.2 Apriori算法129 6.2.1 Apriori算法分析129 6.2.2 案例分析: 使用Weka实现Apriori算法133 6.3 FPgrowth算法139 6.3.1 FPgrowth算法分析139 6.3.2 案例分析: 使用Weka实现FPgrowth算法148 6.4 压缩频繁项集151 6.4.1 挖掘闭模式151 6.4.2 挖掘极大模式152 6.5 关联模式评估152 6.5.1 支持度置信度框架153 6.5.2 相关性分析153 6.5.3 模式评估度量155 6.6 习题156 第7章 分类157 7.1 分类概述157 7.1.1 分类的基本概念157 7.1.2 分类的相关知识158 7.2 决策树162 7.2.1 决策树的基本概念162 7.2.2 决策树分类器的算法过程163 7.2.3 ID3算法165 7.2.4 C4.5 算法172 7.2.5 Weka中使用C4.5 算法进行分类预测实例177 7.2.6 决策树的剪枝184 7.3 朴素贝叶斯分类185 7.3.1 朴素贝叶斯学习基本原理185 7.3.2 朴素贝叶斯分类过程186 7.3.3 使用Weka的朴素贝叶斯分类器进行分类实例187 7.4 惰性学习法191 7.4.1 k近邻算法描述191 7.4.2 k近邻算法性能193 7.4.3 使用Weka进行k近邻分类实例194 7.5 逻辑回归196 7.5.1 逻辑回归的基本概念196 7.5.2 二项逻辑回归过程197 7.5.3 用Weka进行逻辑回归分类实例199 7.6 支持向量机202 7.6.1 线性可分支持向量机算法203 7.6.2 线性可分支持向量机学习算法——*大间隔法207 7.6.3 使用Weka进行支持向量机分类实例208 7.7 神经网络210 7.7.1 神经网络的基本概念210 7.7.2 BP神经网络算法过程212 7.7.3 BP神经网络分类算法实例214 7.7.4 使用Weka进行神经网络分类实例216 7.8 组合方法223 7.8.1 组合方法概述223 7.8.2 装袋223 7.8.3 提升230 7.8.4 随机森林算法234 7.9 分类模型的评估248 7.9.1 分类模型的评价指标248 7.9.2 交叉验证253 7.9.3 自助法254 7.1 0习题255 第8章 聚类257 8.1 聚类概述257 8.1.1 聚类的基本概念257 8.1.2 聚类算法的分类258 8.2 基于划分的聚类260 8.2.1 k均值算法260 8.2.2 k**点算法264 8.2.3 使用Weka进行基于划分的聚类实例268 8.3 基于层次的聚类273 8.3.1 基于层次的聚类的基本概念273 8.3.2 簇间距离度量274 8.3.3 分裂层次聚类274 8.3.4 凝聚层次聚类276 8.3.5 BIRCH算法278 8.3.6 使用Weka进行基于层次的聚类实例282 8.4 基于密度的聚类285 8.4.1 基于密度的聚类的基本概念285 8.4.2 DBSCAN算法286 8.4.3 使用Weka进行基于密度的聚类实例290 8.5 基于网格的聚类293 8.5.1 STING算法294 8.5.2 CLIQUE算法296 8.6 聚类质量的评估299 8.7 习题300 第9章 离群点检测301 9.1 离群点的定义与类型301 9.1.1 什么是离群点301 9.1.2 离群点的类型302 9.2 离群点的检测303 9.2.1 检测方法的分类303 9.2.2 统计学方法304 9.2.3 近邻性方法307 9.2.4 基于聚类的方法309 9.2.5 基于分类的方法313 9.3 习题314 附录AWeka的安装及使用规范315 A.1 Weka简介与安装315 A.1.1 Weka简介315 A.1.2 JRE的安装315 A.1.3 Weka的安装318 A.2 Weka的使用方法323 A.3 Weka的数据格式326 参考文献330