video track +---------------+ frame +--------------+

+--------------->| Video Decoder |------------->| Video Output |

| +---------------+ +--------------+

+----------+ +-----+-----+

|DataSource|---->| Demuxer |

+----------+ +-----+-----+

| +------------------+ +--------------+

+--------------->| Audio Decoder |------------->| Audio Output |

audio track +---------------+ PCM +--------------+

1、根據(jù)上面的數(shù)據(jù)流程圖，我們大致可以將音視頻播放分為4大模塊：DataSource、Demuxer(Parser)、Decoder、Output;

主要流程：

播放器從DataSource獲取媒體數(shù)據(jù)，通過(guò)Demuxer分離音視頻軌道，分別送到相應(yīng)的音視頻解碼器，最后將解碼后的數(shù)據(jù)輸出到音視頻設(shè)備。

各部分說(shuō)明：

DataSource：數(shù)據(jù)源包括本地SDcard中的音視頻文件，也包括網(wǎng)絡(luò)數(shù)據(jù)源，比如：http、http live、RTSP/RTP...，DataSource的作用是將把數(shù)據(jù)源抽象出來(lái)，為下一個(gè)demux模塊提供它需要的穩(wěn)定的數(shù)據(jù)流。 DataSource為Demuxer提供原始數(shù)據(jù)。

Demuxer：Parser模塊，主要是對(duì)各種媒體文件的解析，視頻文件一般情況下都是按照一定的音視頻容器把音視頻的流交織在一起?，F(xiàn)在有很多不同的容器格式。如ts、mp4、flv、mkv、avi、rmvb等等。demux的功能就是把音視頻的數(shù)據(jù)幀從容器中剝離出來(lái)，然后分別送到不同的解碼器中。其實(shí)音頻和視頻本身就是2個(gè)獨(dú)立的子系統(tǒng)。容器把它們包在了一起。但是他們都是獨(dú)立解碼的，所以解碼之前，需要把它分別分離出來(lái)。demux就是干這活的，他為下一步decoder解碼提供了數(shù)據(jù)流。

Decoder：解碼器--播放器的核心模塊。分為音頻和視頻解碼器。影像在錄制后, 原始的音視頻都是占用大量空間, 而且是冗余度較高的數(shù)據(jù). 因此, 通常會(huì)在制作的時(shí)候就會(huì)進(jìn)行某種壓縮 ( 壓縮技術(shù)就是將數(shù)據(jù)中的冗余信息去除數(shù)據(jù)之間的相關(guān)性 ). 這就是我們熟知的音視頻編碼格式, 包括MPEG1(VCD)、MPEG2(DVD)、MPEG4、H.264 等等. 音視頻解碼器的作用就是把這些壓縮了的數(shù)據(jù)還原成原始的音視頻數(shù)據(jù). 當(dāng)然, 編碼解碼過(guò)程基本上都是有損的 .解碼器的作用就是把編碼后的數(shù)據(jù)還原成原始數(shù)據(jù)。視頻對(duì)于的視頻frame，比如(YUV420/RGB)，音頻的原始數(shù)據(jù)即：PCM;解碼出來(lái)的數(shù)據(jù)會(huì)依次的分發(fā)到相應(yīng)的輸出設(shè)備。

Output：音視頻的輸出設(shè)備;

音頻輸出設(shè)備：揚(yáng)聲器speaker，聽(tīng)筒earpiece，耳機(jī)headset，藍(lán)牙耳機(jī)，hdmi等

視頻輸出設(shè)備：顯示屏