万博体育NBA赛事并存在相应的译码规则

当前位置:万博体育NBA赛事 > 万博体育NBA赛事 > 万博体育NBA赛事并存在相应的译码规则
作者: 万博体育NBA赛事|来源: http://www.yiyoubiochem.com|栏目:万博体育NBA赛事

文章关键词:万博体育NBA赛事,香农理论

  信息论与编码基础香农三大定理简介香农三大定理简介一、香农第一定理二、香农第二定理三、香农第三定理 信息论与编码基础香农三大定理简介香农三大定理简介一、香农第一定理二、香农第二定理三、香农第三定理 信息论与编码基础香农三大定理简介香农三大定理简介1 、信源编码器a、模型编码器1: { ,..., }qS s a a 1: { ,..., }qC c W W 1 2{ , ..., }lii i i iW x x x 1: { ,..., }rX x x x 单符号信源无失真编码器码符号码字码长码符号码字码长 信息论与编码基础香农三大定理简介香农三大定理简介( )NS S S { } W1 、信源编码器a、模型N次扩展信源...

  信息论与编码基础香农三大定理简介香农三大定理简介一、香农第一定理二、香农第二定理三、香农第三定理 信息论与编码基础香农三大定理简介香农三大定理简介一、香农第一定理二、香农第二定理三、香农第三定理 信息论与编码基础香农三大定理简介香农三大定理简介1 、信源编码器a、模型编码器1: { ,..., }qS s a a 1: { ,..., }qC c W W 1 2{ , ..., }lii i i iW x x x 1: { ,..., }rX x x x 单符号信源无失真编码器码符号码字码长码符号码字码长 信息论与编码基础香农三大定理简介香农三大定理简介( )NS S S { } W1 、信源编码器a、模型N次扩展信源无失线( ,..., )NNS S S 1 2{ , ..., }lii i i iW x x x 1: { ,..., }rX x x x 1{ ,..., }1,2,...,i qS a ai N1,2,...,Ni q  信息论与编码基础香农三大定理简介香农三大定理简介b、举例1)ASCII信源编码器1 、万博体育NBA赛事信源编码器1)ASCII信源编码器ASCII 编码器{英文字母/符号/命令} 二进代码码符号集{0,1} 信息论与编码基础香农三大定理简介香农三大定理简介1 、信源编码器2)摩尔斯电码b、举例2)摩尔斯信源编码器b、举例符号电平点 划 字母间隔 单词间隔+ + + + 信源编码器I{A,B,,Z}二进符号码符号集{0,1}信源编码器II码符号集{点/划/字母间隔/单词间隔}二进代码10 1110 000 000000 信息论与编码基础香农三大定理简介香农三大定理简介3)中文电报信源编码器1 、信源编码器b、举例“中” “0022”“01101 01101 11001 11001” 信息论与编码基础香农三大定理简介香农三大定理简介c、分类1 、信源编码器等长码变长码等长码变长码中文电报莫尔斯电码中文电报莫尔斯电码有失真编码无失真编码有失真编码无失真编码I(S;C) H(S)I(S;C) = H(S)惟一可译码非惟一可译码惟一可译码非惟一可译码若某一种码的任意一串有限长的符号序列只能被惟一地译成所对应的信源符号。若某一种码的任意一串有限长的符号序列只能被惟一地译成所对应的信源符号。 信息论与编码基础香农三大定理简介香农三大定理简介d、指标1) 平均码长1 、信源编码器1) 平均码长1( )qi iiL P s l1( )NqN i iiL P s code/signcode/N-sign 信息论与编码基础香农三大定理简介香农三大定理简介2) 编码后的信息传输率d、指标1 、信源编码器2) 编码后的信息传输率( )/ R H S L bit/code( )/NNH SRL Nbit/code 信息论与编码基础香农三大定理简介香农三大定理简介3) 编码效率d、指标1 、信源编码器3) 编码效率 实际编码的信息传输率最大编码的信息传输率( )logNH SLrN 信息论与编码基础香农三大定理简介香农三大定理简介例:二元DMS 进行无失线s sSP s      4 4  H(S) = H(3/4,1/4) = 0.811(bit/sign)N=111 L 11( )0.811log2H SL  (code/sign)11( )0.811H SRL  (bit/code) 信息论与编码基础香农三大定理简介香农三大定理简介例:二元DMS 进行无失线s sSP s      4 4  H(S) = H(3/4,1/4) = 0.811(bit/sign)N=2{0,10,110,111}21.688 L 22( )0.961/2 log2H SL  (code/2-sign)22( )0.961/2H SRL  (bit/code) 信息论与编码基础香农三大定理简介香农三大定理简介例:二元DMS 进行无失线s sSP s      4 4  H(S) = H(3/4,1/4) = 0.811(bit/sign)N=333( )0.985/3 log2H SL  33( )0.985/3H SRL  (bit/code)N=440.991  40.991 R  (bit/code)随着N的增加,平均码长减小,有效性逐步提高;当的增加,平均码长减小,有效性逐步提高;当N 趋于无穷时,平均码长可以无限制地减小吗? 信息论与编码基础香农三大定理简介香农三大定理简介2 、香农第一定理(可变长无失线 设 } ,..., , {2 1NqNS    为q元离散无记忆信源S的N次扩展信源 若对NS 进行编码 码符号集 X } { 则总可以找rS HNLN rS HNlog) ( 1log) (  信源,若对NS 进行编码,码符号集 X x x xr } ,..., , {2 1,则总可以找到一种编码方法构成惟一可译码,使信源S中每个符号所需的平均编码长度满足: 且当   N时有: ) (log) (limS HrS HNLrNN   信息论与编码基础香农三大定理简介香农三大定理简介2 、香农第一定理(可变长无失真信源编码定理 )表述二:若RH(S),就存在惟一可译变长编码;若RH(S),惟一可译变长编码不存在,不能实现无失真编码。其中 rNLRNlog   信息论与编码基础香农三大定理简介香农三大定理简介说明:1 1 ) 通过对扩展信源进行可变长编码 可以使平均码长无限趋近2 、香农第一定理(可变长无失线 ) 通过对扩展信源进行可变长编码 , 可以使平均码长无限趋近于极限熵值,但这是以编码复杂性为代价的。2)无失真信源编码的实质:对离散信源进行适当的变换,使变换后新的符号序列信源尽可能为等概率分布,从而使新信源的每个码符号平均所含的信息量达到最大。3)香农第一定理仅是一个存在性定理,没有给出更有效的信源编码的实现方法。于极限熵值,但这是以编码复杂性为代价的。万博体育NBA赛事2)无失真信源编码的实质:对离散信源进行适当的变换,使变换后新的符号序列信源尽可能为等概率分布,从而使新信源的每个码符号平均所含的信息量达到最大。3)香农第一定理仅是一个存在性定理,没有给出更有效的信源编码的实现方法。 信息论与编码基础香农三大定理简介香农三大定理简介总结:信源编码器模型性能指标香农第一定理(性能指标香农第一定理( 无失真信源编码定理 )平均码长、信息传输率、编码效率 012012Y t Y t+67a(t)={100111011} b = {675013666} 信息论与编码基础香农三大定理简介香农三大定理简介一、香农第一定理二、香农第二定理三、香农第三定理有效性 可靠性 矛盾 X 信息论与编码基础香农三大定理简介香农三大定理简介1 、错误概率误码率1-pa 1 =0p(a 1 ) = b 1 =0p = 0.01误码率误字率pp1-pp(a 1 ) a 2 =1p(a 2 ) = 1-b 2 =1P E = P(a 1 )P(b 2 a 1 )+P(a 2 )P(b 1 a 2 )= p + (1-)p = 0.01错误概率与那些因素相关? 信息论与编码基础香农三大定理简介香农三大定理简介2 、常用判决准则a、MAP准则(Maximum a Posteriori)对于所有的C) ( ) (*R C P R C P  *C C  ) () ( ) () () ( ) (* *R PC R P C PR PC R P C P   信息论与编码基础香农三大定理简介香农三大定理简介) ( ) (*C P C R P 似然比2 、常用判决准则a、MAP准则(Maximum a Posteriori)b、ML准则(Maximum Likelihood)若输入符号等概时rC P1) ( ) ( ) (*C R P C R P  ) () () () (*C PCC R PC 似然比 信息论与编码基础香农三大定理简介香农三大定理简介例1 重复编码000  1000  2001  3010  (n,1)BSC的三次扩展信道的三次扩展信道1000  2111  34011  5100  6101  7110  8111  3 1 2 433 10 0.01EP p C pp p      信息论与编码基础香农三大定理简介香农三大定理简介3 1 2 433 10 0.01EP p C pp p     例1 重复编码(n,1)n=5 P E 10 -5n=7 P E 4 ×10 -7n=9 P E 10 -8R = logM/n bit/codeR = logM/5R = logM/7R = logM/9可靠性增强 有效性减小矛盾 信息论与编码基础香农三大定理简介香农三大定理简介例2 (5,2)线性码) , , , , (5 4 3 2 1i i i i i ia a a a a  a a a  2 1 51 42 1 3i i ii ii i ia a aa aa a a  P E = 7.8*10 -4 ,R = 0.4 信息论与编码基础香农三大定理简介香农三大定理简介例2 (5,2)线 信息论与编码基础香农三大定理简介香农三大定理简介3 、香农第二定理(有噪信道编码定理 )定理4.2 设某离散无记忆信道有r个输入符号,s个输出符号信道容量为C。只要码长n足够长,总可以在输入的n信道容量为 只要码长 足够长 总可以在输入的 r 个符号集中找到M个码字(代表M个等可能的消息,且 为任 , 2) ( C nM意小的正数)组成一个码,并存在相应的译码规则,使信道输出的错误概率任意小。 表述二:若在信息传输率R不大于信道容量C(即RC) 则信息论与编码基础香农三大定理简介香农三大定理简介3 、香农第二定理(有噪信道编码定理 )若在信息传输率R不大于信道容量C(即RC),则存在一种编码,当码长 n 足够大时,它可以使信道输出端的错误概率任意小,而信息传输率无限接近C;如果RC,则不可能找到一种编码,使输出端错误概率任意小。 信息论与编码基础香农三大定理简介香农三大定理简介说明:1、定理纠正了人们传统固有的可靠性和有效性矛盾的观点,为信道编码理论和技术的研究指明了方向3 、香农第二定理(有噪信道编码定理 )AWGN为信道编码理论和技术的研究指明了方向。2、定理仅指出编码的存在性,未给出编码的具体方法。。2、定理仅指出编码的存在性,未给出编码的具体方法。3 、定理指出:RC是可靠传输的必要条件,但并未指出编码序列无限长是可靠传输的必要条件。是可靠传输的必要条件,但并未指出编码序列无限长是可靠传输的必要条件。AWGN1)Turbo 码:1/2 码率,BPSK ,65536 随机交织,18 次迭代,Pe=10 -5 , E b /N 0 = 0.7dB2) 非规则LDPC 码:N = 10 7 , 1/2 码率,Pe=10 -5 , E b /N 0 = 0.0045dB4 、香农进一步证明:R=C时,任意小的差错概率也是可以达到的。时,任意小的差错概率也是可以达到的。证明基本条件:1 )随机编码2 )码长3 )最大似然译码 信息论与编码基础香农三大定理简介香农三大定理简介一、香农第一定理二 香农第二定理三、香农第三定理二、香农第二定理 不大于一定编码速率的条件下,使平均失真限制到最小;信息论与编码基础香农三大定理简介香农三大定理简介在平均失真不大于某个值的条件下,使编码速率限制到最小信息率失线 、失真度与信息率失真函数a、系统模型信息论与编码基础香农三大定理简介香农三大定理简介UV信源 信源编码器 无噪信道 信源编码器 信宿试验信道UV} ,..., {1 ru u A U  符号集} ,..., {1 sv v B V  符号集 b、万博体育NBA赛事失真测度信息论与编码基础香农三大定理简介香农三大定理简介1 、失线)单符号失真测度 ) , ( v u d设V v U u   ,定义失真矩阵) , ( ... ) , (. ... .) , ( ... ) , () , ( ... ) , (12 1 21 1 1s r rssv u d v u dv u d v u dv u d v u dd0 ) , ( j iv u d 如果规定 j iv u , 0信息论与编码基础香农三大定理简介香农三大定理简介1 、失真度与信息率失真函数b、失真测度如果规定j ij ij iv uv u d, 1,) , (,那么失真矩阵为0 ... 1 1. . . .1 ... 0 11 ... 1 0dN=3时,失线)序列失真测度信息论与编码基础香农三大定理简介香农三大定理简介1 、失真度与信息率失线)序列失真测度设序列V y y y U x x xj N i N  ), ,..., ( , ), ,..., (1 1定义序列失真测度为Nii i Ny x dNy x d1) , (1) , ( 平均失真信息论与编码基础香农三大定理简介香农三大定理简介1 、失真度与信息率失线)平均失真单符号平均失真j ij i j iv u d v u P d E,) , ( ) , ( ] [序列平均失真Nii iy x d ENd E1)] , ( [1] [ c、信息率失真函数信息论与编码基础香农三大定理简介香农三大定理简介1 、失真度与信息率失真函数定义信息率失真函数)} ; ( { min ) () (V U I D RD i jP u v P 0P(vu)I(U;V)R(D)最佳编码 最佳编码D D  例 例 设信源X,符号集为 } ,..., , {2 2 1 na a a,等概分布 n i n Pi2 ,..., 1 , 2 / 1  给定失真测度为j ij idj i0, 1,设计一种单符号压缩算法使得平均信息论与编码基础香农三大定理简介香农三大定理简介 j i , 0失线,并求压缩后的信息传输率R. 信息论与编码基础香农三大定理简介香农三大定理简介信息率失线时 R(D)无意义R(D)DH(X)1)当D0时,R(D)无意义2)存在一个D max ,使D D max 时,R(D)=03)R(0)=H(X)4)在0D D max 范围内,R(D)是正的、连续的下凸函数DD max0 二、香农第三定理 (保真度准则下的信源编码定理)定理)定理4.3 设) (D R 为一离散无记忆信源的信息率失真函数,信息论与编码基础香农三大定理简介香农三大定理简介并且有有限的失真测度 D, 则对于任意 0 , 0    D ,以及任意长的码长 k ,一定存在一种码字个数为] ) ( [2 D R kM 的信源编码,使编码后码的平均失真度D D  表述二:信息论与编码基础香农三大定理简介香农三大定理简介二、香农第三定理 (保真度准则下的信源编码定理 )设 ) (D R 为一离散无记忆信源的信息率失真函数,并且规定了有限的失线    D 则:) (logD RkMR    1 )若给定了失真 D ,且 ,则存在长度为 k 的码,它的平均失线 )若 ) (D R R   时,无论采用什么编码,其平均失线 ) R(D) 确定是保真度准则条件下,信源信息率压缩的下限。二、香农第三定理 (保真度准则下的信源编码定理 )信息论与编码基础香农三大定理简介香农三大定理简介) ( ) ( 0 X H D R  2 ) R(D) 在实际工程中可以作为衡量各种压缩编码方法性能优劣的一种标尺。3 )是一种存在定理,其实际应用有待于进一步研究:a) 如何计算符合实际信源的信息率失真函数 R(D) ?b) 如何寻找最佳编码方法才能达到信息压缩的极限值 R(D) ? 限失限失真限失限失真无失无失真无失无失真 信 信信息论与编码基础香农三大定理简介香农三大定理简介信源信宿信源信宿真信源编码器信源编码器真信源译码器信源译码器真信源编码器信源编码器真信源译码器信源译码器信道编码道编码信道译码道译码A B C D E F G H 信道一般通信系统框图信道一般通信系统框图 信息论与编码基础香农三大定理简介香农三大定理简介总结:香农第二定理( 有噪信道编码定理 )R C信息率失真函数)} ; ( { min ) () (V U I D RD i jP u v P 香农第三定理( 保真度准则下的信源编码定理 )R R(D)

网友评论

我的2016年度评论盘点
还没有评论,快来抢沙发吧!