第2章信源与熵概要ppt

发布者:admin 发布时间:2019-10-24 07:51 浏览次数:

  1.本站不保证该用户上传的文档完整性,不预览、不比对内容而直接下载产生的反悔问题本站不予受理。

  * 随机过程的遍历性 * 单变量连续信源的模型 与单符号和多符号离散信源类似,连续信源也有单变 量(一维)和多变量(N维)之分。这里只讨论单变量 连续信源。对多变量连续信源,可以近似转换为无记 忆信源来处理。 单变量连续信源的模型为 并满足 * 连续随机变量的概率描述 单变量连续信源输出的消息取值是连续变化的,通常 用连续随机变量来描述这些连续变化的消息值。 连续随机变量用各种概率密度函数来描述。 变量的一维概率密度函数(边缘概率密度函数) p(x)和p(y) 变量间的条件概率密度函数p(x/y)和p(y/x) 联合概率密度函数p(xy) 各种概率密度函数间的关系 * 连续信源(波形信源)的离散化 根据采样定理,对于时间受限于T,频率受限于F的连续时间函数,可由2FT个采样值完整地描述,采样间隔为 通过采样,波形信源转化为时间离散,幅度连续的信源,对样本函数 的描述转化为N维随机序列X,X由N=2FT个随机变量组成。 * 连续信源的熵_变量离散化 如果将连续随机变量看作是离散随机变量的极限情况,则连续随机变量的信息熵 令连续随机变量X的取值区间是 ,把它分割成n个小区间,并且各小区间设为等宽 那么X处于第i个小区间的概率是 于是事件 的自信息量为 * 连续信源的熵_绝对熵 变量离散化后的连续信源的熵为 当时,得连续信源的熵为 式中第二项将趋于无穷大,这说明连续随机变量的潜在信息量无穷大。 * 连续信源的熵_相对熵 当比较两个事件的信息量的大小时,第二项常常被消去,因此定义连续随机变量的熵为 这样定义的熵,常称为连续随机变量的相对熵,或称微分熵,在不引起混淆的情况下简称为熵。 * 相对熵的意义 相对熵 不能像离散熵那样,代表连续信源输出的信息。 连续信源的真实熵是其绝对熵,除相对熵之外,还应有一个无穷大的常量。 相对熵 具有相对性。在取两熵之间的差时,才具有信息熵的一般特征。 相对熵 虽然不能像离散熵那样充当集合事件出现不确定性的测度,但它还有许多和离散熵一样的性质,特别是相对熵的差值仍能表征两个集合之间的互信息量。 * 联合熵和条件熵 定义连续信源的联合熵和条件熵 对联合集XY,定义 为联合集XY的相对熵。 定义联合集XY的(相对)条件熵为 * 第2章 信源与熵 2.0 信源分类 2.1 单符号离散信源 2.2 多符号离散信源 2.3 连续信源 2.3.1 连续信源与连续熵 2.3.2 几种特殊连续信源的熵 2.3.3连续熵的性质 2.3.4熵功率 * 几种特殊连续信源的熵 _均匀分布信源的熵 设X是在区间(a,b)内服从均匀分布的连续随机变量 * 几种特殊连续信源的熵 _高斯分布信源的熵 * 几种特殊连续信源的熵 _指数分布信源的熵 * 第2章 信源与熵 2.0 信源分类 2.1 单符号离散信源 2.2 多符号离散信源 2.3 连续信源 2.3.1 连续信源与连续熵 2.3.2 几种特殊连续信源的熵 2.3.3连续熵的性质 2.3.4熵功率 * 连续熵的性质 可负性 可加性 上凸性 不同限制下的最大连续熵定理 * 连续熵的性质_可加性 类似于离散情况,相对熵间有关系: 当且仅当连续随机变量X和Y统计独立时,两式中的等号成立。 * 连续熵的性质 _上凸性与最大连续熵定理 上凸性: 最大连续熵定理: 峰值功率受限时_均匀分布 输出信号幅度受限条件下,对于服从均匀分布的随机变量X,具有最大输出熵。 平均功率受限时_高斯分布 平均功率受限条件下,对于服从均值为m,方差为σ2的高斯分布的随机变量具有最大输出熵。 均值受限时_指数分布 输出非负信号的均值受限条件下,具有指数分布的连续信源X具有最大熵值。 * 第2章 信源与熵 2.0 信源分类 2.1 单符号离散信源 2.2 多符号离散信源 2.3 连续信源 2.3.1 连续信源与连续熵 2.3.2 几种特殊连续信源的熵 2.3.3连续熵的性质 2.3.4熵功率 * 熵功率 熵功率是连续信源信息冗余度的表示。 * 结论: 对于平均功率受限的连续信源,信源的熵功率总是小于或等于其平均功率。 当且仅当信源为高斯信源时,熵功率与平均功率相等。 * 例:求连续信源的熵 * 有限状态马尔可夫链_遍历性 * 有限状态马尔可夫链 _马尔可夫链的稳态分布 * 有限状态马尔可夫链 _状态分布矢量的递推运算 * 有限状态马尔可夫链 _稳态分布存在性定理一 * 有限状态马尔可夫链 _状态极限概率的求解 * 有限状态马尔可夫链 _稳态分布存在性定理二 * 有限状态马尔可夫链 _例题(遍历性的判断) * 有限状态马尔可夫链 —例题(稳态分布的求解) * 第2节 多符号离散信源 2.2 .1平稳信源的定义及分类 2.2.2 离散无记忆信源的N次扩展信源 2.2.3 一般离散平稳信源 2.2.4 马尔可夫信源 有限状态马尔可夫链 马尔可夫信源 2.2.5 信源的相关性和剩余度 * 马尔可夫信源_定义 * 马尔可夫信源 _状态的一步转移概率 马尔可夫信源输出的符号序列Xl完全由信源所处的状态Sl决定。所以,可将信源的输出符号系列变换成状态系列。即信源在l-1时刻的状态为ei时,当它发出一个符号后,所处的状态变成l时刻的状态ej,这种状态间的变化可用一步转移概率描述 * 马尔可夫信源_时齐遍历性 时齐性: 转移概率与时间起点无关。 遍历性: 当转移步数足够大时,转移概率与起始状态无关,即达到平稳分布 时齐遍历马尔可夫信源: 同时满足时齐性和遍历性 * m阶马尔可夫信源 m阶马尔可夫信源: 有记忆离散信源,若记忆长度为m+1,即信源每次发出的符号仅与前面m个符号有关,与更前面的符号无关,这样的信源称为m阶马尔可夫信源。 m阶马尔可夫信源的记忆关系用条件概率描述为 * m阶马尔可夫信源- 状态空间数学模型 * m阶马尔可夫信源 _状态转移图(例1) 通常我们用马尔可夫链的状态转移图来描述马尔可夫信源。 信源状态转移图 * m阶马尔可夫信源 _状态转移图(例2) * m阶马尔可夫信源 _状态转移图(例2续) * m阶马尔可夫链 _状态转移图(例3) * m阶马尔可夫链 _状态转移图(例3续) * m阶马尔可夫链 _状态转移图(例3续) 一步转移矩阵为P * M阶马尔可夫信源 _极限熵H∞= Hm+1 当时间足够长时,遍历的m阶马尔可夫信源可以视为平稳信源,且因为信源发出的符号只与最近的m个符号有关,所以由 * M阶马尔可夫信源 _Hm+1的计算 * 马尔可夫信源熵-例题 * 马尔可夫信源熵-例题(续) * 第2节 多符号离散信源 2.1 .1平稳信源的定义及分类 2.2.2 离散无记忆信源的N次扩展信源 2.2.3 一般离散平稳信源 2.2.4 马尔可夫信源 2.2.5 信源的相关性和剩余度 * 信源的相关性 * 剩余度:为了衡量信源的相关性程度 信源剩余度 * 信源熵和剩余度的概念 _英语信源 * 信源熵和剩余度的概念 _英语信源(续) * 小结 讨论了平稳性和遍历性的马尔可夫信源;讨论了信源的状态极限概率存在;了解了马尔可夫信源极限熵的存在条件,并给出了马尔可夫信源极限熵的求解方法。 设计实际通信系统时,信源剩余度的问题:考虑有效性时,应尽量压缩信源剩余度,使信源发出的每个符号携带的平均信息量最大。若考虑可靠性时,则信源剩余度有利,并且人为的加入某种特殊的剩余度,可增强通信系统的抗干扰能力。 后续章节的信源编码和信道编码。 * 第2章 信源与熵 2.0 信源分类 2.1 单符号离散信源 2.2 多符号离散信源 2.3 连续信源 2.3.1 连续信源与连续熵 2.3.2 几种特殊连续信源的熵 2.3.3连续熵的性质 2.3.4熵功率 * 连续信源-随机波形信源 连续信源:输出时间和取值都连续的随机消息,用随机过程 来描述,例如:语音、模拟视频信号。 相关概念: 样本函数 随机变量 概率密度函数 随机过程的平稳性:通信信号,平稳随机过程 随机过程的遍历性 * N次扩展信源的熵 * N次扩展信源的熵(证明) * N次扩展信源的熵(证明) * N次扩展信源的熵-例 例:设一离散无记忆信源X,其概率空间为 * N次扩展信源的熵-例题(续) 信源符号 a1 a2 a3 a4 a5 a6 a7 a8 a9 符号系列 a1 a1 a1 a2 a1 a3 a2 a1 a2 a2 a2 a3 a3 a1 a3 a2 a3 a3 概率p(ai) 1/4 1/8 1/8 1/8 1/16 1/16 1/8 1/16 1/16 * 第2节 多符号离散信源 2.1 .1平稳信源的定义及分类 2.2.2 离散无记忆信源的N次扩展信源 2.2.3 一般离散平稳(有记忆)信源 平稳信源的熵 极限熵 2.2.4 马尔可夫信源 2.2.5 信源的相关性和剩余度 * 二维平稳信源的熵 _联合熵 最简单的二维平稳信源:记忆长度为2的有记忆平稳信源。 * 二维平稳信源的熵 _无记忆二次扩展信源的关系 当X1和X2取值于同一集合(概率空间)时, H(X1)=H(X2) 当X1和X2无记忆时 H(X)=2H(X)=H(X2) 离散无记忆信源的二次扩展信源可看成是二维离散平稳信源的特例。 * 二维平稳信源的熵 _与无记忆二次扩展信源的关系 条件熵小于无条件熵,因此 H(X1X2)= H(X1)+ H(X2/X1) H(X1X2)≤H(X1)+ H(X2) 二维离散平稳有记忆信源的熵小于等于无记忆二次扩展信源的熵 无记忆信源 X2=X1X2,X1对X2不产生任何影响。 有记忆信源X=X1X2 ,由于X1和X2有统计依赖关系, X1的发生会提供X2的部分相关信息。 * 二维平稳信源的熵-例题 P(X2/X1) X2=x1 X2=x2 X2=x3 X1=x1 7/9 2/9 0 X1=x2 1/8 3/4 1/8 X1=x3 0 2/11 9/11 * 二维平稳信源的熵-例题(续) * 二维平稳信源的熵-例题(续) * 第2节 多符号离散信源 2.1 .1平稳信源的定义及分类 2.2.2 离散无记忆信源的N次扩展信源 2.2.3 一般离散平稳信源 平稳信源的熵 极限熵 2.2.4 马尔可夫信源 2.2.5 信源的相关性和剩余度 * N维平稳有记忆信源的熵 _联合熵 二维平稳有记忆信源推广到N( N2 )维平稳有记忆信源。 * N维平稳有记忆信源的熵 _联合熵的分解式 * N维平稳有记忆信源的熵 _条件熵的递减性 * N维平稳有记忆信源的熵 _平均符号熵 离散平稳有记忆信源的联合熵H(X1X2...XN),表示信源平均发出一个消息所提供的信息量:一个消息是指一个由N个符号组成的序列。 平均符号熵:信源平均发出一个符号所提供的信息量 * N维平稳有记忆信源的熵 _极限熵 当N趋于无穷大时的平均符号熵,称为极限熵或极限信息量,记为H∞。 * N维平稳有记忆信源的熵 _极限熵的意义 对于多符号离散平稳信源,实际上它在不断地发出符号,符号之间的统计关联关系并不仅限于长度N,而是伸向无穷远。研究实际信源,必须求出信源的极限熵H∞。 H∞是否存在? 如何求H∞? 当信源是离散平稳信源时,H∞是存在的,且等于关联长度N趋于∞时条件熵的极限值。 * N维平稳有记忆信源的熵 _极限熵存在定理 * N维平稳有记忆信源的熵 _极限熵存在定理(续) * N维平稳有记忆信源的熵 _极限熵存在定理(续) * 离散平稳信源-小结 1.实际信源,复杂,对其定义加入平稳性约束条件即为平稳信源,平稳信源通常都是有记忆信源。 2.极限熵代表了一般离散平稳有记忆信源平均每发出一个符号所提供的信息量。 3.一般用条件熵或平均符号熵作为极限熵的近似值。 计算联合熵或极限熵很困难:需要测定信源的无穷阶联合概率和条件概率。 * 第2节 多符号离散信源 2.2 .1平稳信源的定义及分类 2.2.2 离散无记忆信源的N次扩展信源 2.2.3 一般离散平稳信源 2.2.4 马尔可夫信源 有限状态马尔可夫链 马尔可夫信源 2.2.5 信源的相关性和剩余度 * 有限状态马尔可夫链 _定义 * 有限状态马尔可夫链 _转移概率pij(m,n) 为了知道系统状态的转化情况,引入转移概率 转移概率:已知在时刻m系统处于状态ei的条件下,经(n-m)步后,转移到状态ej的概率。 转移概率的性质: * 有限状态马尔可夫链 _基本(一步)转移概率 * 有限状态马尔可夫链 _k步转移概率 * 有限状态马尔可夫链 _K步转移矩阵 * 有限状态马尔可夫链 _时齐性 * 有限状态马尔可夫链 _切普曼-柯尔莫哥洛夫方程 * 有限状态马尔可夫链 _切普曼-柯尔莫哥洛夫方程(证明) * 加权熵的性质 性质4 概率重量对立性:某些事件有意义( ),但不发生( ),而另外一些事件虽然发生( ),但无意义( )。加权熵为0:从主观效果来看,人们并没有获在得任何有意义的信息。 * 加权熵的性质 性质5 对称性 性质6 均匀性 性质7 非容性 性质8 扩展性 性质9 线 加权熵的最大值 * 第2章 信源熵 2.1 单符号离散信源 2.1.1 单符号离散信源的数学模型 2.1.2 自信息和信源熵 2.1.3 信源熵的基本性质和定理 2.1.4 加权熵的概念及基本性质 2.1.5 各种熵之间的关系 * 各种熵之间的关系 1.联合熵与信息熵、条件熵 2.联合熵与信息熵 3.条件熵与通信熵 * 1.联合熵与信息熵、条件熵 H(XY)=H(X)+H(Y/X); H(YX)=H(Y)+H(X/Y) H(X)+H(Y/X)=H(Y)+H(X/Y) H(X)-H(XY)=H(Y)-H(YX) 如果集X和集Y相互统计独立,则:H(XY)=H(X)+H(Y) 此性质可推广到多个随机变量构成的概率空间 。 设N个概率空间X1,X2,…,XN ,联合熵可表示为 如果N个随机变量相互独立,则 * 联合熵与信息熵、条件熵关系式的证明 证明:对于离散联合集XY,共熵为 * 2.联合熵与信息熵的关系 若集合X和Y统计独立,则 该性质可推广到N个概率空间的情况 同理,上式等号成立的充要条件是: * H(XY)≤H(X)+H(Y) 的证明 * 3.条件熵与通信熵的关系 H(Y/X)≤H(Y) * H(Y/X)≤H(Y) 证明(续) * 求联合集X,Y上的各种熵 例:设一系统的输入符号集X=(x1,x2,x3,x4,x5)输出符号集Y=(y1,y2,y3,y4),如图所示。输入符号与输出符号的联合分布为 * 例2.3.4 计算先验概率、后验概率 * 例2.3.4 计算后验概率(续) * 例2.3.4计算联合熵、信息熵(续) * 例2.3.4 计算条件熵(续) * 例2.3.4(续)例题验证关系式 H(XY)=2.665比特/符号 H(X)=2.066比特/符号;H(Y)=1.856比特/符号 H(X/Y)=0.809比特/符号;H(Y/X)=0.600比特/符号 有: H(XY)=2.6653.922=H(X)+H(Y) H(X)+H(Y)=2.066+1.856=3.922 H(Y)+H(X/Y)=1.856+0.809=2.665 H(X)+H(Y/X)=2.066+0.600=2.666 注意到: H(XY)= H(Y)+H(X/Y)=H(X)+H(Y/X) H(XY)H(X)+H(Y) H(Y/X) H(Y); H(X/Y) H(X) * 小结 信息熵的定义; 熵函数的数学特征及性质; 联合符号集上的条件熵和联合熵的定义; 讨论了加权熵的概念和意义; 基于信息熵、条件熵和联合熵的定义,分析了几种熵之间的关系和性质,并通过例题,具体讲解了各种熵的计算及其含义。 * 第2节 多符号离散信源 2.2 .1平稳信源的定义及分类 2.2.2 离散无记忆信源的N次扩展信源 2.2.3 一般离散平稳信源 2.2.4 马尔可夫信源 2.2.5 信源的相关性和剩余度 * 多符号信源 多符号信源:信源输出的是多个消息符号,用N维随机矢量,N重离散概率空间的数学模型来描述。 如自然语言信源。以汉字为例,汉语信源就是随机地发出一串汉字序列。 这类信源输出的消息可视为时间上或空间上离散的随机变量序列,即随机矢量。 信源的输出用N维随机矢量(Xk,k=1,2,...,N)来描述,N一般为有限正整数。 * 多符号信源的数学模型 —N重离散概率空间 * 平稳信源 * 平稳信源_一维平稳 * 平稳信源_二维平稳 * 平稳信源_N维平稳 * 平稳信源_离散平稳信源 * 离散平稳信源 分为有记忆和无记忆两种,区别:信源发出的各个符号之间是否具有统计关联关系。 无记忆:如离散无记忆信源的N次扩展信源 有记忆:马尔可夫信源 统计关联性即记忆性的表示方式: 使用用信源发出的一个符号序列的整体概率,即N个符号的联合概率,这种信源的代表是发出符号序列的离散平稳有记忆信源。 使用信源发出符号序列中各个符号之间的条件概率来反映记忆性,这种信源代表是马尔可夫信源。 * 第2节 多符号离散信源 2.2 .1平稳信源的定义及分类 2.2.2 离散无记忆信源的N次扩展信源 2.2.3 一般离散平稳信源 2.2.4 马尔可夫信源 2.2.5 信源的相关性和剩余度 * 2.2.2 离散无记忆信源的N次扩展信源 最简单的离散信源 单符号离散信源 N次扩展信源 离散无记忆二进制信源的扩展信源 离散无记忆信源的扩展信源 N次扩展信源的熵 * 最简单的离散信源 * N次扩展信源 1. 离散无记忆二进制信源的二次扩展信源 二次扩展信源的输出消息是符号序列,分组发出,每两个二进制符号构成一组。其数学模型为 扩展信源 X=X1X2 二次扩展信源 * N次扩展信源(续) 2. 离散无记忆二进制信源的三次扩展信源 三次扩展信源X3=(X1X2X3)共输出qN个消息符号,其中q=2,N=3,即8个长为3的二进制系列符号,它等效为一个拥有8个消息符号的新信源X。 * N次扩展信源(续) 定义设X为一单符号离散无记忆信源 q为信源符号个数,pi=P(X=ai) i=1,2,…q。则X的N次扩展信源XN为具有qN个消息符号的离散无记忆信源,其概率空间为 * 例:联合自信息量 设一正方形棋盘上共有64个方格,如果甲将一粒棋子随意地放在棋盘中的某方格且让乙猜测棋子所在位置: 将方格按顺序编号,令乙猜测棋子所在方格的顺序号; 解: x y * 例:条件自信息量 设一正方形棋盘上共有64个方格,将方格按行和列编号,甲将棋子所在方格的行(或列)编号告诉乙之后,再令乙猜测棋子所在列(或行)的位置。 解: x y * 自信息量能否作为信源的 整体信息测度? 自信息量 是指信源X发出某一消息符号 所包含的信息量。信源发出的消息符号不同,它们所包含的信息量可能就不同。 信源发出的消息符号用随机事件来描述,而自信息量是一个随机变量,它只反映信源发出某一消息符号的不确定性,不能反映整个信源的不确定性。 自信息量不能用来作为整个信源的信息测度。 * 信源的概率空间描述 概率空间的可能状态数目及其概率来描述信源的不确定程度: 其中: X是信源的状态空间,为一个离散集,表示了随机事件的状态数; P(X)是随机事件各种可能状态的概率,且ΣP(x)=1, 各状态相互独立。 通常记为{X,P(x)} * 例:信源的不确定度 分析整个信源的不确定性 一个布袋,装有100个对手感觉一样的球,但颜色不同,每种颜色球的数量也不同。随意从中拿出一球,猜测球的颜色。 1、90个红球,10个白球 ---容易猜测 2、50个红球,50个白球---较难猜测 3、红、白、黑、黄球各25个---更难猜测 容易看出:信源的不确定度与信源所包含的随机事件的可能状态数目和每种状态的概率有关。 * 几个结论 关于信源不确定度的几个结论: 信源的不确定度与信源概率空间的状态数及其概率分布有关 如果信源概率空间的状态数确定,概率分布为等概时,不确定度最大 等概时,不确定度与信源概率空间的可能状态数(或相应的概率)有关,状态数越多(或相应的概率越小),不确定度就越大。 信源不确定程度的概率分布来描述,记为 H(X)=H(p1, p2,...pN) 对于上面例子, H3(1/4,1/4,1/4,1/4) H2(1/2,1/2) H1(0.90,0.10) * 平均自信息量—信息熵 自信息量是随机变量,只反映信源发出某一消息符号的不确定性,无法用作整个信源的信息测度。 定义 2.3.1 平均自信息量:在集合X上,随机变量I(xi)的数学期望 集合X的平均自信息量又称做是集合X的信息熵,简称熵,信息熵与热熵有相似之处。 * 平均不确定度 集合X的平均自信息量表示集合X中事件出现的平均不确定度 在观测之前,确定集合X中出现一个事件平均所需的信息量; 观测之后,集合X中每出现一个事件平均给出的信息量。 例: * 信息熵的单位 离散集合X信息熵的单位取决于对数选取的底。 如果一个离散集合X的概率分布为n个状态等概,选取对数底为n,由信息熵定义 上式表明:集合X包含1个n进制单位的信息量,用一个n进制数就可以表示此集合的信息。 现代数字通信系统中,一般采用二进制,因此信息熵的计算中也多采用以2为底的方式,默认为H(X)。 r进制与二进制之间的关系: * 从布袋中摸球(例) 如果每次摸出一个球后又放回袋中,再进行下一次摸取。则如此摸取n次,红球出现的次数为np(x1)次,白球出现的次数为np(x2)次。随机摸取n次后总共所获得的信息量为: np(x1)I(x1)+ np(x2)I(x2) 平均随机摸取一次所获得的信息量则为: 可见,平均自信息量,亦即信息熵H(X)是从平均意义上来表征信源的总体特征的一个量,它表征了信源的平均不确定度。 * 从布袋中摸球(例) 继续从布袋中摸球 使用信息熵定义计算三种情况下信源的平均不确定性 * 信源熵与平均自信息量的关系 两者数值相等,含义不同 信源熵表征信源的平均不确定度; 平均自信息量是消除信源不确定度所需要的信息度量; 信源熵H(X)的三种物理含义 表示信源输出后,每个离散消息所提供的平均信息量; 表示信源输出前,信源的平均不确定度; 反映了变量X的随机性。 * 条件熵 定义 2.3.3 条件熵:联合集XY上,条件自信息量I(xy)的概率加权平均值,定义式为 上式也称为联合集XY中,集合Y相对于集X合的条件熵。 条件熵也可写成 式中取和的范围包括XY二维空间中的所有点。 注意:条件熵用联合概率p(xy),而不是用条件概率p(yx)进行加权平均。 * 为什么条件熵 要用联合概率进行加权平均? * 联合熵 定义 2.3.4 联合熵:联合集XY上,每对元素的自信息量的概率加权平均值 根据联合自信息量的定义,联合熵又可定义为 联合熵又称为共熵。 * 第2章 信源熵 2.1 单符号离散信源 2.1.1 单符号离散信源的数学模型 2.1.2 自信息和信源熵 2.1.3 信源熵的基本性质和定理 2.1.4 加权熵的概念及基本性质 2.1.5 各种熵之间的关系 * 熵函数的数学特征 随机变量集X的熵H(X)只是其概率分布 的函数,称为熵函数。 根据上式,再结合概率的完备性, ,可知H(P)实际上是(q-1)元函数。 如二元熵,有 为讨论熵函数的性质,需借用凸函数的概念 * 熵函数的基本性质 非负性 对称性 极值性 极值性特例_最大离散熵定理 凸函数性 扩展性 确定性 可加性 * 1. 非负性 非负性 其中等号成立的充要条件是当且仅当对某 即信源虽有不同的输出符号,但它只有一个符号几乎必然出现,而其它符号几乎都不可能出现,那么这个信源是一个确知信源,其信源熵等于零。 非负性对于离散信源的熵是正确的,但对于连续信源来说,该性质不存在。 * 2. 对称性 当概率矢量 中的各分量的次序任意变更时,熵值不变。 信源的熵仅与信源总体的统计特性有关。如果统计特性相同,不管其内部结构如何,其信源熵的大小都相同。 例,A,B两地天气情况的平均不确定性为 晴 多云 雨 冰雹 地域A 1/2 1/4 1/8 1/8 地域B 1/2 1/8 1/8 1/4 * 3.极值性------最大熵定理 在离散情况下,集合X中的各事件依等概率发生时,熵达到极大值。这个重要结论称为最大熵定理。 集合中元素的数目n越多,其熵值就越大 对数函数的单调上升性。 * 4.扩展性 证明: 通过熵函数的定义可以证明上式成立。 含义:若集合X有q个事件,另一个集合X’有q+1个事件,但X和X’的差别只是多了一个概率接近于零的事件,则两个集的熵值一样。 一个事件的概率与其中其它事件的概率相比很小时,它对z整个集合熵值的贡献可以忽略不计。 * 5. 确定性 集合X中只要有一个事件为必然事件,则其余事件为不可能事件,不可能事件对熵的贡献都为零,因而必然事件的信源熵必为零。 * 6. 可加性 可加性 如果有两个随机变量X,Y,它们不是相互独立的,则二维随机变量(X,Y)的熵等于X的无条件熵加上当X已给定时Y的条件熵,即 强可加性 当二维随机变量X,Y相互统计独立时,则 * 可加性证明 * 7. 上凸性 是概率 的严格上凸函数 可以通过凸函数的概念和詹森(Jenson)不等式证明。 上凸函数如: 二元熵函数 三元熵函数 二元熵函数 * 上凸性证明_凸函数的概念 定义2.3.2 设 为一多元函数。若对于任意一个小于1的正数 以及函数f(X)定义域内的任意两个矢量 有 称f(X)为定义域上的凸函数。 若有: 则称f(X)为定义域上的上凸函数(Cap型函数)或严格上凸函数。 若有: 则称f(X)为定义域上的下凸函数(Cup型函数)或严格下凸函数。 * 上凸性证明 _詹森(Jenson)不等式 引理 若f(x)是定义在区间[a,b]上的实值连续上凸函数,则对于任意一组 和任意一组非负实数 当取xk为一个离散无记忆信源的信源符号,λk取为相应的概率时,显然满足上述引理条件。 若取f(.)为对数函数,上述不等式可写为 E[logx]≤log(E[x]) 对于一般的凸函数f(.),写成E[f(x)]≤f(E[x]) * 第2章 信源熵 2.1 单符号离散信源 2.1.1 单符号离散信源的数学模型 2.1.2 自信息和信源熵 2.1.3 信源熵的基本性质和定理 2.1.4 加权熵的概念及基本性质 2.1.5 各种熵之间的关系 * 加权熵 熵的不足:由于对称性,它无法描述主观意义上对事件的判断的差别,淹没了个别事件的重要性。 加权熵的引入:为了反映主观价值和主观意义。 通过引入事件的重量(weight),来度量事件的重要性或主观价值。 一般情况下,事件的重量与事件发生的客观概率不一致。而且,事件的重量可以反映主观的特性,也可以反映事件本身的某些客观性质。 * 加权熵 设随机变量X,引入事件的重量W后,其概率空间如下, 其中 * 加权熵定义和性质 定义2.1.10 离散无记忆信源[X P W]的加权熵定义为 加权熵的一些重要性质: 性质1 非负性 性质2 等重性若权重 ,则 。即若每一事件都被赋于同样的重量,则加权熵退化为香农熵。 性质3 确定性。 若 ,而 则加权熵为零,即 * 第2章 信源熵 2.0 信源的数学模型及其分类 2.1 单符号离散信源 2.2 多符号离散平稳信源 2.3 连续信源 2.4 离散无失真信源编码定理(*) * 本节内容 通信的根本问题-----将信源的输出信息在接收端尽可能精确地复现出来 讨论:如何描述信源的输出?即如何计算信源输出的信息量。 信源的数学模型 信源的分类 * 什么是信源? 信源-信息的发源地,如人、生物、机器等等。 信息十分抽象,所以我们通过信息载荷者,即消息来研究信源,并将信源的具体输出称作消息。 消息的形式多样:离散消息(如汉字、符号、字母);连续消息(如模拟图像、语音) 信源建模:将信源消息中的信息看做一个时变的不可预知的函数 描述信源消息或对信源建模,随机过程是一个有效的工具,通过随机过程的特性来描述信源的特性 * 信源输出的描述 信源发出消息,消息载荷信息,而消息又具有不确定性,所以可用随机变量或随机序列(矢量)来描述信源输出的消息,或者说用概率空间来描述信源。 信源的输出被抽象为一个随机变量序列(随机过程)。 信源 X1, X2, X3, …… Xi为 {a1, a2, a3, …am}或(a,b) * 离散信源和连续信源定义 用随机变量(或矢量)来描述信源的输出消息,用概率空间来描述信源时,则信源是一个概率场。 离散信源:信源输出的随机变量取值于某一离散符号集合,消息在时间和幅值上均是离散的。 比如平面图像 X(x,y)和电报、书信、文稿等等; 离散信源只涉及一个随机事件,称为单符号离散信源,可用离散随机变量来描述; 若离散信源涉及多个随机事件,称为多符号离散信源,可用离散随机矢量来描述。 连续信源:信源输出的随机变量取值于某一连续区间,为连续信号,消息的个数是无穷值。 比如人发出的语音信号X(t)、模拟的电信号等等 * 离散和连续信源数学模型 * 单/多符号信源模型 单符号信源:信源输出的是单个消息符号,用一维离散或连续随机变量X及其概率分布P来描述。 多符号信源:信源输出的是多个消息符号,用N维随机矢量或N重离散概率空间的数学模型来描述。 如自然语言信源,以汉字为例,它是随机发出地一串汉字序列。 信源输出的消息可视为时间上或空间上离散的随机变量序列,即随机矢量。 信源的输出可用N维随机矢量(Xk,k=1,2,...,N)来描述,N一般为有限正整数。 * 多符号信源的数学模型 —N重离散概率空间 * 信源的分类 主要基于两个标准 1. 信源消息取值的集合以及消息取值时刻的集合 离散信源、连续信源 或数字信源、模拟信源(波形信源) 2. 信源消息的统计特性 由此可分为无记忆信源、有记忆信源、 平稳信源、非平稳信源、 高斯信源、马尔可夫信源等。 实际应用是二者的组合 如离散无记忆信源等。 * 信源的分类—离散平稳信源 离散平稳信源:随机序列中各个变量具有相同的概率分布。 离散无记忆平稳信源:离散平稳信源的输出序列中各个变量是相互独立的,即前一个符号的出现不影响以后任何一个符号出现的概率,否则称为离散有记忆平稳信源。 * 信源的分类—无记忆信源 如果信源发出的消息符号间彼此统计独立,并且它们具有相同的概率分布,且N维随机矢量的联合概率分布为: 称之为离散无记忆信源。 若N维随机矢量X中每个变量Xk是连续随机变量,且相互独立,则X的联合概率密度函数为, 称这种信源为连续型无记忆信源 * 信源的分类—有记忆信源 现实情况下,一般信源发出的符号间是彼此相互依存和关联的(如小说文字),属于记忆信源,通常用联合概率或条件概率来描述这种关联性。 按记忆长度划分 有限记忆信源(马尔可夫信源) 有限状态马尔可夫链 无限记忆信源 * 信源的分类—混合信源 按信源输出时间和取值划分: 时间连续,取值连续或随机的,称之为随机波形信源,表示为X(t)。 输出既有连续分量又有离散分量,称之为混合信源。 ?本课程重点研究离散信源产生消息的不确定性,不研究信源的内部结构和消息的如何产生。 * 信源的分类总结 随机过程{x(t)}:随机波形信源 信源输出的消息是时间(或空间)上 和取值上都是连续的函数 离散无记忆信源的N次扩展信源:输出的 平稳随机序列X中各随机变量统计独立。 每个随机变量xi取值于同一概率空间。 每N个符号构成一组,等效为一个新的信源 随机 变量 离散信源:可能输出的消息数有限 连续信源:可能输出的消息数是无限的或不可数的 非平稳 信源 平稳 信源 连续平稳信源 离散平稳信源:输出的随机序列X中每个随机变量取值是离散的, 并且随机矢量X的各维概率分布不随时间平移而改变 有限记忆信源:输出的平稳随机序列 X中各随机变量之间有 依赖关系,但记忆长度有限 马尔可夫信源:输出的随机序列X中各随机变量之间有依赖关系 ,但记忆长度有限,并满足马尔可夫链的条件式 随机 序列 * 第2章 信源熵 2.0 信源的数学模型及其分类 2.1 单符号离散信源 2.2 多符号离散平稳信源 2.3 连续信源 2.4 离散无失线 单符号离散信源的数学模型 2.1.2 自信息和信源熵 2.1.3 信源熵的基本性质和定理 2.1.4 加权熵的概念及基本性质 2.1.5 各种熵之间的关系 * 2.1.1 单符号离散信源的 数学模型 定义: * 第2章 信源熵 2.1 单符号离散信源 2.1.1 单符号离散信源的数学模型 2.1.2 自信息和信源熵 2.1.3 信源熵的基本性质和定理 2.1.4 加权熵的概念及基本性质 2.1.5 各种熵之间的关系 * 随机事件与信息量 你的同学告诉你:“昨天中国男子足球队以3:0战胜了巴西队”,你的感觉? 如果你的同学又告诉你: “昨天中国男子乒乓球队以3:0战胜了巴西队”,你的感觉? 比较两件事情当中你获得信息量的大小? * 自信息量定义 定义 2.1.1 任意随机事件的自信息量定义为该事件发生概率的对数的负值。 自信息量的单位取决于对数选取的底 单位:比特bit、奈特nat、哈特Hart。 当对数的底取2时,单位为比特bit 当以自然数e为底时,单位为奈特nat 当以10为底时,单位为哈特hart * 自信息量的单位 现代数字通信系统中,一般采用二进制。信息量的计算中也多采用以2为底的方式,一般默认以2为底 信息单位比特bit、奈特nat、哈特Hart之间的转换关系: * 对数及常用公式 Examples: * 信息量、不确定度和惊讶度 在事件发生前有不确定度:不确定度与事件发生与否无关,它表征的是事件的特性; 在事件发生时有惊讶度; 在事件发生后带来信息量: 因此,当一个概率很低的随机事件发生,我们就会感到非常惊讶,并得到很大的信息量。 9.11事件,法国巴黎袭击案; 彗星撞地球; * 自信息量 从信息源获取信息的过程是信源不确定度缩减的过程。 随机事件包含的信息量与其不确定度紧密相关。 在统计分析中,使用概率来作为衡量不确定性的一种指标。 随机事件包含信息的度量应是其概率的函数。 * 自信息量与不确定度(例) 例:一本n页书,每页200字,作者使用的词汇有1000个字。那么,1000个字每次取200个字构成一页,其总排列组合数即一页书总的状态数有1000200=N1,对于n页书,则不同状态数将增加到N1n ,即Nn= N1n =[(1000)200] n = 1000200n 假定每种状态是等概率的,则n页书中对应每一种状态的概率为Pn=1/ Nn=1/ N1n = 1/1000200n 用概率倒数的对数来度量其不确定度,则为log(1/Pn)= log(Nn)=nlog(N1) 记1页(n页)书每种状态的不确定度为H1(Hn) 则Hn = log(1/Pn)= log(Nn)=nlog(N1)= nH1 = Hn n页书包含的信息量是1页书包含信息量的n倍。 * 自信息量的性质 注意: * 自信息量(例) 某地二月份天气的概率分布: 四种气候的自信息量分别为: 不同天气情况具有不同的自信息量, 自信息量具有随机变量的性质 * 联合自信息量 定义 2.1.2 二维联合集XY上的元素( )的联合自信息量定义为 为积事件; 为元素 的二维联合概率。 当X和Y相互独立时, * 条件自信息量 定义 2.1.3 联合集XY中,对事件 和 ,事件 在事件 给定的条件下的条件自信息量定义为 由于每个随机事件的条件概率都处于0~ 1范围内,所以条件自信息量均为非负值。 * 几种自信息量之间的关系 自信息量、联合自信息量、条件自信息量都满足非负性和单调递减性 三者都是随机变量,其值随着变量xi,yj的变化而变化。 三者之间关系

  请自觉遵守互联网相关的政策法规,严禁发布色情、暴力、反动的言论。用户名:验证码:匿名?发表评论


上一篇:没有了    下一篇:2020年南京邮电大学硕士研究生招生学院及专业方