本书较系统地讲述了网上多媒体分析与检索技术。全书共6部分，分18章，分别讲述了基本内容的图像检索、视频结构化与视频检索、基于内容的音频检索、多媒体融合分析与检索、网上多媒体信息检索系统等内容，涉及的媒体类型除文本外，还包括图像、视频、音频及三维图形。本书层次分明，内容详实，理论分析与算法实践相结合，力求实用。
本书可作为高等院校计算机科学、图书情报等专业的研究生或高年级本科生的技术资料或教学用书，对广大从事模式识别和多媒体分析等研究、应用和开发的科技人员也有很大的参考价值。

第1部分 绪论

第1章 基于文本方式的信息检索

1.1 布尔模型
1.2 聚类模型
1.3 向量模型
1.4 概率模型

第2章 基于内容的多媒体检索技术

2.1 多媒体分析步骤
2.2 多媒体特征提取
2.3 多媒体数据流分割
2.4 多媒体识别分类

第3章 WWW多媒体信息检索

第2部分 基于内容的图像检索

第4章 图像特征的提取与表达

4.1 图像颜色特征
4.1.1 颜色直方图
4.1.2 颜色矩
4.1.3 颜色集
4.1.4 颜色聚合向量
4.1.5 颜色相图
4.2 图像纹理特征
4.2.1 Tamura纹理特征
4.2.2 自回归纹理模型
4.2.3 基于小波变换的纹理特征
4.2.4 其他纹理特征
4.3 图像形状特征
4.3.1 傅立叶形状描述符
4.3.2 形状无关矩
4.3.3 基于内角的形状特征
4.3.4 其他形状特征
4.4 图像空间关系特征
4.4.1 基于图像分割的方法
4.4.2 基于图像子块的方法
4.5 图像高维特征约减和索引
4.5.1 图像高维特征缩减
4.5.2 图像高维特征索引

第5章 图像相似度比较方法

5.1 图像特征相似度比较
5.1.1 欧拉距离
5.1.2 直方图相交
5.1.3 二次式距离
5.1.4 马氏距离
5.1.5 非几何的相似度方法
5.2 图像特征性能评价
5.2.1 颜色特征评价
5.2.2 纹理特征评价

第6章 图像检索中的相关反馈机制

6.1 相关反馈技术分类
6.2 查询向量相关反馈
6.2.1 文本检索中的相关反馈
6.2.2 图像检索相关反馈模型
6.3 特征权重相关反馈
6.3.1 特征权重相关反馈结构
6.3.2 图像特征归一化
6.3.3 图像特征权重调整
6.4 其他图像相关反馈技术

第7章 图像检索的现状和未来

7.1 现有图像检索系统
7.2 图像检索未来发展趋势

第3部分 视频结构化与视频检索

第8章 视频内容结构化

8.1 视频镜头边缘检测
8.1.1 **帧间差法
8.1.2 图像像素差法
8.1.3 图像数值差法
8.1.4 颜色直方图法
8.1.5 压缩域差法
8.1.6 矩不变量法
8.1.7 边界跟踪法
8.1.8 运动矢量法
8.2 镜头边缘阈值确定
8.21 像素点变化阈值
8.2.2 镜头切分阈值
8.2.3 镜头渐变阈值
8.3 视频关键帧提取
8.3.1 基于镜头边界法
8.3.2 基于颜色特征法
8.3.3 基于运动分析法
8.3.4 基于聚类的关键帧提取
8.4 视频场景构造
8.5 新闻类视频结构化
8.5.1 视频新闻内容分析
8.5.2 现有新闻类分析系统

第9章 视频检索和视频反馈

9.1 视频检索
9.2 视频相关反馈
9.2.1 视频层次反馈
9.2.2 镜头层次的反馈

第10章 视频检索技术的现状和未来

10.1 视频检索的应用前景
10.2 现有视频检索系统
10.3 视频检索发展趋势

第4部分 基于内容的音频检索

第11章 音频信号特征提取与表达

11.1 音频时域特征提取
11.1.1 短时平均能量
11.1.2 过零率
11.1.3 线性预测系数
11.2 音频频域特征提取
11.2.1 傅立叶级数
11.2.2 复数形式傅立叶级数
11.2.3 傅立叶积分与连续频谱
11.2.4 抽样定理
11.2.5 连续信号的滤波与卷积
11.2.6 能谱特征
11.2.7 平均功率与功率谱特征
11.2.8 倒谱特征分析
11.2.9 LPC倒谱和Mel系数
11.2.10 其他频域特征
11.3 音频时频特征提取
11.3.1 短时傅立叶变换
11.3.2 小波变换
11.3.3 连续小波变换
11.3.4 离散小波变换
11.3.5 小波特征系数提取
11.4 音频例子特征提取

第12章 音频分割与识别

12.1 音频分割算法
12.1.1 音频分层分割
12.1.2 基于压缩域特征音频分割
12.1.3 基于模板的音频分割
12.2 音频例子识别模型
12.2.1 基于隐马尔可夫链音频例子识别
12.2.2 基于增量支持向量机的音频例子识别
12.2.3 基于*近特征线法的音频例子识别
12.2.4 音频例子混合识别模型

第13章 基于内容的音频检索技术

13.1 相似音频例子检索
13.1.1 基于分类模型的音频例子检索
13.1.2 基于模糊聚类音频例子检索与音频相关反馈
13.2 广播新闻结构化
13.3 音乐检索

第14章 音频检索的现状与未来

14.1 音频检索的类别
14.2 音频检索未来与挑战

第5部分 多媒体融合分析与检索

第15章 多媒体融合分析

15.1 多媒质特征融合
15.2 单媒质交叉索引
15.3 单媒质结果融合

第16章 多媒体融合检索系统

16.1 文本与视觉信息融合检索
16.2 结合文本和视觉的图像检索与反馈
16.3 基于多模态融合的视频结构化
16.3.1 多模态信息结构化新闻类视频
16.3.2 音频分析技术
16.3.3 视频中的文本分析
16.4 基于压缩域音频特征的足球比赛精彩场景识别提取
16.4.1 足球比赛的声音特征
16.4.2 思路和实现方法
16.4.3 结果分析和比较
16.5 基于支持向量机的视频字幕提取
16.6 基于人脸对象的多媒体内容分析
16.7 基于多模态融合的视频场景分析

第6部分 网上多媒体信息检索系统

第17章 面向WWW多媒体检索系统

17.1 网络信息收集Web Crawler
17.2 面向WWW的多媒体检索系统Webscope-CBIR
17.3 网络智能检索界面
17.4 个性化WWW检索

第18章 发展与挑战

18.1 数字化图书馆
18.2 特征维数约减与变换
18.3 三维多媒体检索
18.4 基于关键块的图像检索
18.5 检索复杂性度量
18.6 新一代媒体表示对软件和硬件的影响
18.7 感知界自
18.8 多媒体推理
18.9 结论

附录1 音频处理工具HTK
附录2 多媒体研究领域资料汇总

参考文献