第1章 绪 论
本章有3节,介绍与本书密切相关的部分概念和数学知识.1.1节介绍与“信息”
相关的几个概念、信息论的研究对象和基本内容.1.2节介绍概率论知识,以公理化方法叙述概率空间与随机变量,讨论事件独立性,建立联合概率空间.其中,联合概率空间的引入使在同一概率空间上成立的乘法公式、加法公式等以新的角度呈现,为以后建立信源的数学模型做准备.离散概率空间与信息论的联系*为密切,该节对此加以**介绍.随机序列将是离散信源的模型,马尔可夫链是特殊的随机序列,该节中,对本书必要的随机序列和马尔可夫链知识作介绍.*后介绍的伯努利试验与伯努利大数定律,在以后章节中证明一些结果时用到.1.3节介绍的詹森(Jensen)不等式,是以后证明一些不等式的重要工具.
1.1 几个概念和信息论的研究内容
信息二字是近30年来世界上出现频率*高的科技词汇之一.学习信息论,首先要了解什么是信息,要知道不同环境下使用的信息二字���涵义.
1.信息
正如数学中点、集合等不能加以定义一样,信息也是不能给予明确定义的概念.有人将信息称为“有用的消息”,但消息是什么,有用又是什么意思? 这都无法给出**的描述.
其实世界上许多事物都是难以给出定义的,这是因为这些事物内涵广泛、性质复杂,无法用简洁的语言加以界定、描述.例如,“白菜的味道”是一个事物,但人们却无法将这个事物用语言、文字描述清楚.
不能给出定义的事物往往还是事件的主角,为了让别人明白此主角是此事物,不是彼事物,人们只好想各种办法.一种办法是把事物包含的内容加以列举,让被介绍者自己去领会事物的本质.例如,无法给出数学的定义,就告诉别人几何学是数学,微积分学是数学,概率论是数学,让别人在了解这几门学问的基础上,自己领会什么是数学.
另一种办法是指出事物的几个具有代表性的表现形式,让别人在看到这些表现形式的基础上,得出此事物正是此事物的结论.
这两种办法是可以用语言、文字表现的,两种办法还可以结合应用.这两种办法之外,还有无数种办法介绍事物.例如,用让人尝的办法介绍白菜的味道,让人看的办法介绍风景,让人听的办法介绍声音.于是,对于信息,可以将前述两种办法结合应用加以介绍.
信息是什么? 电话、电视、雷达、信件等传递出来的声、像、磁、文字等能被感知、可以引起人们兴趣的东西都是信息.“电话、电视、雷达、信件等传递出来的声、像、磁、文字等”,正是在列举