离散信源的分类和数学模型离散无记忆信源的熵

发布者:admin 发布时间:2019-10-29 16:11 浏览次数:

  在离散时间发出离散符号的信源称为离散信源。如果信源符号集为有限集,则称为有限离散信源。如果信源符号集为无限可数集,则称为无限离散信源。

  离散无记忆信源的N次拓展源:设信源为X,则由X构成的N维随机矢量集合XN= X1X2X3...XN(其中Xi与X同分布),称为信源X的N次扩展源。

  类似的可以定义m阶马氏链,即信源输出某一符号的概率与以前的m个符号有直接关系,则此时m个信源符号组成的所有的可能的序列就对应于信源全部可能的状态{1,2,3,...J},这里J= qm.

  马氏链是时间离散,状态也离散的马氏过程。如果状态集合为有限集,则称为有限状态马氏链;如果状态集合为无穷可数集,则称为无穷状态马氏链。

  齐次马氏链是具有平稳转移概率的马氏链。若马氏链转移概率与起始时刻无关,则称为齐次马氏链。很明显,齐次马氏链的转移概率矩阵与起始时刻也无关,从状态i经k步转移到状态j的概率可写成Pij.

  齐次马氏链可以用转移概率矩阵、网格图和状态转移图来描述。 注意转移概率矩阵与状态转移图的对照。

  对于一个有限状态的马氏链,如果状态i是经过有限步骤后迟早要返回的状态,则称状态i是常返态。不是常返态的状态称为过渡态,即若存在某状态j经过若干步以后总能到达某一其他状态,但不能从其他状态返回,则称状态j是过渡态。

  如果马氏链中任何两个状态互通,则此马氏链是不可约的。一个有限马氏链按互通关系所分成的子集中的状态要么是常返的,称为常返类。要么是过渡的,称为过渡类。一个有限马氏链至少有一个常返类和若干个过渡类。

  而常返态又可以分为周期的或者遍历的。主要看d,d1就是周期的;d=1就是遍历的。其实如果这个子集中有自返的子集,那么这些子集中的元素就是遍历的了。

  平稳分布的“平稳分布列矢量”,经过状态转移是不变的。如果起始状态的概率分布不是平稳分布,则马氏链是不平稳的。但是,对于遍历马氏链,无论初始状态如何,当转移步数足够大时,状态概率分布总会趋于平稳分布,与初始状态概率分布无关。

  结论:(1)对于有限状态马氏链,平稳分布恒存在。(2)如果马氏链中仅存在一个常返类,则T=TP的解是唯一的;如果存在r个常返类,则具有r个线)如果马氏链中仅存在一个或多个常返类而且是非周期的,那么Pn也收敛。 如果马氏链有一个或多个周期常返类,则Pn不收敛。


上一篇:ZIP压缩算法详细分析及解压实例解释    下一篇:第三章连续信源及信源熵ppt