信源編碼" target="_blank">信源編碼是一種以提高通信有效性為目的而對(duì)信源符號(hào)進(jìn)行的變換，或者說(shuō)為了減少或消除信源冗余度而進(jìn)行的信源符號(hào)變換。具體說(shuō)，就是針對(duì)信源輸出符號(hào)序列的統(tǒng)計(jì)特性來(lái)尋找某種方法，把信源輸出符號(hào)序列變換為最短的碼字序列，使后者的各碼元所載荷的平均信息量最大，同時(shí)又能保證無(wú)失真地恢復(fù)原來(lái)的符號(hào)序列。 [1]

對(duì)輸入信息進(jìn)行編碼，優(yōu)化信息和壓縮信息并且打成符合標(biāo)準(zhǔn)的數(shù)據(jù)包。

信源編碼的作用之一是，即通常所說(shuō)的數(shù)據(jù)壓縮;作用之二是將信源的模擬信號(hào)轉(zhuǎn)化成數(shù)字信號(hào)，以實(shí)現(xiàn)模擬信號(hào)的數(shù)字化傳輸。

最原始的信源編碼就是莫爾斯電碼，另外還有ASCII碼和電報(bào)碼都是信源編碼。但現(xiàn)代通信應(yīng)用中常見(jiàn)的信源編碼方式有：Huffman編碼、算術(shù)編碼、L-Z編碼，這三種都是無(wú)損編碼，另外還有一些有損的編碼方式。信源編碼的目標(biāo)就是使信源減少冗余，更加有效、經(jīng)濟(jì)地傳輸，最常見(jiàn)的應(yīng)用形式就是壓縮。另外，在數(shù)字電視領(lǐng)域，信源編碼包括 通用的MPEG—2編碼和H.264(MPEG—Part10 AVC)編碼等。相應(yīng)地，信道編碼是為了對(duì)抗信道中的噪音和衰減，通過(guò)增加冗余，如校驗(yàn)碼等，來(lái)提高抗干擾能力以及糾錯(cuò)能力。

不同類(lèi)型的信源，是否存在有每種信源的最佳的信源編碼，這通常是用信源編碼定理來(lái)表示。最簡(jiǎn)單、最有實(shí)用指導(dǎo)意義的信源編碼定理是離散、無(wú)記憶型信源的二進(jìn)制變長(zhǎng)編碼的編碼定理。它證明，一定存在一種無(wú)失真編碼，當(dāng)把N個(gè)符號(hào)進(jìn)行編碼時(shí)，平均每個(gè)符號(hào)所需二進(jìn)碼的碼長(zhǎng)滿(mǎn)足

。其中H(U)是信源的符號(hào)熵(比特)，這就是說(shuō)，最佳的信源編碼應(yīng)是與信源信息熵H(U)統(tǒng)計(jì)匹配的編碼，代碼長(zhǎng)度可接近符號(hào)熵。這一結(jié)論不僅表明最佳編碼存在，而且還給出具體構(gòu)造碼的方法，即按概率特性編成不等長(zhǎng)度碼。對(duì)不同類(lèi)型信源，如離散或連續(xù)、無(wú)或有記憶、平穩(wěn)或非平穩(wěn)、無(wú)或限定失真等，可以構(gòu)成不同的組合信源，它們都存在各自的信源編碼定理。但它們中絕大部分僅是屬于理論上的存在性定理，這給具體尋找和實(shí)現(xiàn)不同類(lèi)型信源的信源編碼，帶來(lái)了相當(dāng)?shù)碾y度。信源編碼根據(jù)信源的性質(zhì)進(jìn)行分類(lèi)，則有信源統(tǒng)計(jì)特性已知或未知、無(wú)失真或限定失真、無(wú)記憶或有記憶信源的編碼;按編碼方法進(jìn)行分類(lèi)可分為分組碼或非分組碼、等長(zhǎng)碼或變長(zhǎng)碼等。然而最常見(jiàn)的是討論統(tǒng)計(jì)特性已知條件下，離散、平穩(wěn)、無(wú)失真信源的編碼，消除這類(lèi)信源剩余度的主要方法有統(tǒng)計(jì)匹配編碼和解除相關(guān)性編碼。比如仙農(nóng)碼、費(fèi)諾碼、赫夫曼碼，它們屬于不等長(zhǎng)度分組碼，算術(shù)編碼屬于非分組碼;預(yù)測(cè)編碼和變換編碼是以解除相關(guān)性為主的編碼。對(duì)限定失真的信源編碼則是以信息率失真R(D)函數(shù)為基礎(chǔ)，最典型的是矢量量化編碼。對(duì)統(tǒng)計(jì)特性未知的信源編碼稱(chēng)為通用編碼。

既然信源編碼的基本目的是提高碼字序列中碼元的平均信息量，那么，一切旨在減少剩余度而對(duì)信源輸出符號(hào)序列所施行的變換或處理，都可以在這種意義下歸入信源編碼的范疇，例如過(guò)濾、預(yù)測(cè)、域變換和數(shù)據(jù)壓縮等。當(dāng)然，這些都是廣義的信源編碼。一般來(lái)說(shuō)，減少信源輸出符號(hào)序列中的剩余度、提高符號(hào)平均信息量的基本途徑有兩個(gè)：①使序列中的各個(gè)符號(hào)盡可能地互相獨(dú)立;②使序列中各個(gè)符號(hào)的出現(xiàn)概率盡可能地相等。前者稱(chēng)為解除相關(guān)性，后者稱(chēng)為概率均勻化。

那么，當(dāng)M足夠大時(shí)，上述編碼幾乎沒(méi)有失真;反之,若這個(gè)條件不滿(mǎn)足，就不可能實(shí)現(xiàn)無(wú)失真的編碼。式中H(U)是信源輸出序列的符號(hào)熵。通常，信源的符號(hào)熵H(U)K，因此，上述條件還可以表示為 【H(U)+ε】/logL≤N/M≤logK/logL特別，若有K=L,那么,只要H(U)K,就可能有N

變長(zhǎng)編碼是指V的各個(gè)碼字的長(zhǎng)度不相等。只要V中各個(gè)碼字的長(zhǎng)度 Ni(i=1，…，‖V‖)滿(mǎn)足克拉夫特不等式 這 ‖V‖個(gè)碼字就能唯一地正確劃分和譯碼。離散無(wú)記憶信源的變長(zhǎng)編碼定理指出：若離散無(wú)記憶信源的輸出符號(hào)序列為， 式中 A={ɑk|k=1,…,K},符號(hào)熵為H(U)，對(duì)U進(jìn)行唯一可譯的變長(zhǎng)編碼，編碼字母表B的符號(hào)數(shù)為L(zhǎng),即B={bl|l=1,…,L},那么必定存在一種編碼方法，使編出的碼字Vi=(vi1,…,viNi)，(i=1,…,‖V‖)，具有平均長(zhǎng)度嚻： MH(U)/logL≤?chē)?mh(u) logl+1若l="K，則當(dāng)H(U)K=logL時(shí),必有嚻信源的各個(gè)輸出符號(hào)序列按概率遞降的順序排列起來(lái)，求其中概率最小的兩個(gè)序列的概率之和，并把這個(gè)概率之和看作是一個(gè)符號(hào)序列的概率，再與其他序列依概率遞降順序排列(參與求概率之和的這兩個(gè)序列不再出現(xiàn)在新的排列之中)，然后，對(duì)參與概率求和的兩個(gè)符號(hào)序列分別賦予二進(jìn)制數(shù)字0和1。繼續(xù)這樣的操作,直到剩下一個(gè)以1為概率的符號(hào)序列。最后，按照與編碼過(guò)程相反的順序讀出各個(gè)符號(hào)序列所對(duì)應(yīng)的二進(jìn)制數(shù)字組，就可分別得到各該符號(hào)序列的碼字。