VLC視訊播放器原理詳細分析含TS流格式分析
vlc是一個功能強大的玩意,能做很多有意思的事情。
最簡單的,從介面開啟一個檔案播放,也可以在命令列下使用,如
C:\Program Files\VideoLAN\VLC>vlc.exe test.ts
獲取內建的幫助,會寫到vlc-help.txt
C:\Program Files\VideoLAN\VLC>vlc.exe -h
獲取更詳細的幫助,有大量的選項介紹
C:\Program Files\VideoLAN\VLC>vlc.exe -H
線上使用幫助
http://www.videolan.org/doc/play-howto/en/play-howto-en.html
http://www.videolan.org/doc/streaming-howto/en/streaming-howto-en.html
搜尋並顯示可用的模組列表
C:\Program Files\VideoLAN\VLC>vlc.exe -l
Windows下,預設情況,VLC的配置檔案在 %APPDATA%\vlc\vlcrc
%APPDATA%在XP下通常是 C:\Documents and Settings\使用者名稱\Application Data
Linux下,在使用者home目錄的/.vlc/中
vlc的選項完全可以通過修改vlcrc來設定,介面只是略微方便一點
重置所有選項到預設狀態
C:\Program Files\VideoLAN\VLC>vlc.exe –reset-config
VLC從vlcrc中指定的plugin-path,以及當前目錄的modules和plugins目錄來遞迴查詢plugin
VLC的大部分功能都是通過plugin來實現的。VLC預設有大量的動態外掛,例如官方VLC 0.8.6e有210個外掛。為了加快啟動速度,vlc會在%APPDATA%\vlc\cache中快取plugin的列表,選項plugins- cache=0可以禁止快取plugin
開啟一個UDP組播流,組播組 239.255.1.1,埠 4567,預設埠1234
對於rtp協議,VLC會自動識別,寫udp還是rtp都沒問題
C:\Program Files\VideoLAN\VLC>vlc.exe udp://@239.255.1.1:4567
在本地UDP埠 888 接收流, “@”表示繫結一個地址,而不是連線該地址
C:\Program Files\VideoLAN\VLC>vlc.exe udp://@888
串流輸出,就是在播放的時候,以某種方式向外傳送視訊,在開啟介面
的串流/儲存 中設定會比較方便
例如,迴圈播放test.ts, 以rtp方式傳送到224.1.1.1埠1234, 同時顯示視訊
vlc.exe test.ts –loop :sout=#duplicate{dst=std{access=rtp,mux=ts,dst=224.1.1.1:1234},dst=display}
例如,接收UDP埠888,資料全部儲存到C:\dump.ts
vlc.exe udp://@888 :demux=dump :demuxdump-file=”C:\dump.ts”
關於Windows下視訊輸出模組
Direct3D :效果比DirectX差一點,但是方便截圖,也可以在影象上實現alpha
DirectX:效果最好,利用DirectX的顯示加速
OpenGL:在不同的硬體上表現不太一樣
WinGDI:最慢的一種,不需要顯示卡加速
caca:用彩色的Assic字元來顯示,很有意思
臨時啟用某個視訊輸出,可以這樣
C:\Program Files\VideoLAN\VLC-0.8.6e>vlc test.ts –vout=caca
ActiveX控制元件
官方釋出的VLC自帶ActiveX控制元件 axvlc.dll,註冊之後可以方便的在應用程式和網頁
中使用VLC,註冊的辦法是
C:\Program Files\VideoLAN\VLC-0.8.6e>regsvr32 axvlc.dll
ActiveX VLC的使用方法可以參考原始碼中ActiveX目錄的README.TXT和test.html
ActiveX控制元件的介面有第一版和第二版,第一版簡單,功能少,已經不再維護
建議用第二版本,功能多一點
Mozilla Plugin
你還可以在Windows和Linux的Firefox中使用VLC。Windows下可以在安裝VLC的時候選上
Mozilla plugin,事實上它做的就是在HKLM_Software_MozillaPlugin鍵下新增一個VLC的子鍵。
Linux下就不太清楚了,但是你可以把libvlcplugin.so(或者叫npvlc.so)和外掛目錄
放到Firefox的plugins目錄,來使之生效。
同樣這適用於基於Xulrunner的應用程式,事實上像 Miro、SongBird等xul應用都是用的
這個外掛。
與ActiveX類似的,VLC的Mozilla Plugin也有兩套介面,建議用新的第二版。
登錄檔
在Windows下VLC只使用很少量的登錄檔的資訊,最重要的一條是HKLM_Software_VLC鍵
下的InstallDir項,VLC的Mozilla Plugin和ActiveX控制元件通過這一項來定位其外掛的目錄
Telnet、Http控制
對VLC來說,控制介面都是Interface類的模組,你可以使用各種控制模組。Windows下
預設使用的是wxwidgets圖形介面,你還可以使用http、telnet等介面,來遠端控制VLC,
夠酷吧?如果你用VLC在伺服器上專門作視訊流轉發一類的事情,這種遠端介面
可以幫上大忙。
視訊過濾器
0.8系列中有多達13種視訊過濾器,為視訊新增各種效果和特殊處理。用的比
較多的是反交錯deinterlace過濾器,在觀看MPEG2視訊時很有用。
Skin2介面
一個漂亮一點的,可以換膚的介面,覺得它不太穩定很少用。
其他的
播放DVD、VCD光碟,開啟DirectShow裝置,播放當前螢幕…很多好玩的功能可以去摸索一下
一些問題
目前的VLC無法播放Real視訊,如rm、rmvb。其實從0.9版本的VLC開始可以依賴其他解碼
器播放。但就目前測試的情況來看,順序播放沒問題,但是拖動則效果很差
RTSP的播放,拖動有問題,在獲取播放位置時有缺陷。例如和達爾文伺服器的配合。
視訊播放的基本原理
當初看VLC程式碼花了不少時間,其中很大的原因是不太瞭解視訊播放的基本原理。現在看來,幾乎所有的視訊播放器,如VLC、MPlayer、Xine,包 括DirectShow,在播放視訊的原理和架構上都是非常相似的,理解這個對理解VLC的原始碼會有事半功倍的效果。
大致的來說,播放一個視訊分為4個步驟:
1. acess 訪問,或者理解為接收、獲取、得到
2. demux 解複用,就是把通常合在一起的音訊和視訊分離(還有可能的字幕)
3. decode 解碼,包括音訊和視訊的解碼
4. output 輸出,也分為音訊和視訊的輸出(aout和vout)
拿播放一個UDP組播的MPEG TS流來說吧,access部分負責從網路接收組播流,放到VLC的記憶體緩衝區中,access模組關注IP協議,如是否IPv6、組播地址、組播協議、 埠等資訊;如果檢測出來是RTP協議(RTP協議在UDP頭部簡單得加上了固定12個位元組的資訊),還要分析RTP頭部資訊。這部分可以參看VLC原始碼 /modules/access/udp.c 。在同目錄下還可以看到大量的access模組,如file、http、dvd、ftp、smb、tcp、dshow、mms、v4l…等等
而demux部分首先要解析TS流的資訊。TS格式是MPEG2協議的一部分,概括地說,TS通常是固定188位元組的一個packet,一個TS流可以包 含多個program(節目),一個program又可以包含多個視訊、音訊、和文字資訊的ES流;每個ES流會有不同的PID標示。而又為了可以分析這 些ES流,TS有一些固定的PID用來間隔傳送program和es流資訊的表格:PAT和PMT表。關於TS格式的詳細資訊可以去google一下。
VLC專門做了一個獨立的庫libdvbpsi來解析和編碼TS流,而呼叫它的程式碼可以參見VLC原始碼 /modules/demux/ts.c。
其實之所以需要demux,是因為音視訊在製作的時候實際上都是獨立編碼的,得到的是分開的資料,為了傳輸方便必須要用某種方式合起來,這就有了各種封裝格式也就有了demux。
demux分解出來的音訊和視訊流分別送往音訊解碼器和視訊解碼器。因為原始的音視訊都是佔用大量空間,而且冗餘度較高的資料,通常在製作的時候就會進行 某種壓縮。這就是我們熟知的音視訊編碼格式,包括MPEG1(VCD)、MPEG2(DVD)、MPEG4、H.264、rmvb等等。音視訊解碼器的作 用就是把這些壓縮了的資料還原成原始的音視訊資料。VLC解碼MPEG2使用了一個獨立的庫libmpeg2,呼叫它的原始檔是 /modules/codec/libmpeg2.c。VLC關於編解碼的模組都放在/modules/codec目錄下,其中包括著名的龐大的
解碼器,例如視訊解碼器輸出的是一張一張的類似點陣圖格式的影象,但是要讓人從螢幕看得到,還需要一個視訊輸出的模組。當然可以像一個Win32視窗程式那 樣直接把影象畫到視窗DC上——VLC的一個輸出模組WinGDI就是這麼幹的,但是通常這太慢了,而且消耗大量的CPU。在Windows下比較好的辦 法是用DirectX的介面,會自動呼叫顯示卡的加速功能。
這樣的功能分解使得模組化更容易一點,每個模組住需要專注於自己的事;從整體來說功能強大而且靈活。
但是事情總是不會那麼簡單。就拿access來說,媒體的訪問是分層的,如RTSP就涉及到IPv4、TCP、UDP、RTCP、RTSP等多個層次的協 議。有些視訊格式包括了傳輸、封裝格式和編輯碼格式如MPEG系列,有些封裝格式是獨立的容器,但是很多人會誤解它是編解碼格式,如mkv、avi這些。
音訊和視訊在demux之後就是獨立的,但是需要有一套機制把它們同步起來。同時我們需要有一套機制來控制速度、暫停、停止、跳進,獲取各種媒體資訊,這些都是很複雜而又很重要的事情。
另外也許需要在某個地方插入一些修改,來實現某種效果。如音訊的EQ,視訊的亮度調整之類的,VLC專門設計了access_filter、audio_filter和video_filter型別的模組來做這一類事情。
VLC比較獨特的地方是集成了原來的VLS的功能,這依賴於VLC中stream_output型別的模組,它們可以把正在播放的視訊以某種方式重新轉碼和傳送出去,如http、UDP、檔案等等。
MPlayer的結構與此是類似的,如/stream目錄對應的是access的功能,/mpdemux對應的demux功能,/libmpcodecs是解碼器,/libvo和/libao2分別是視訊和音訊的輸出。
DirectShow也是類似的,不過分類更多一些更復雜一點。DirectShow裡面的模組叫做“filter”,filter之間通過”pin”來 連線。access的模組對應於DirectShow中的Source FIlter,這一類Filter只有輸出pin沒有輸入pin。demux模組對應於splitter filter,這種filter有一個輸入pin,多個輸出pin。解碼模組是一類transform filter,有一個輸入pin、一個輸出pin,輸出模組對應於readering filter,有一個輸入pin,沒有輸出pin。當然transform
filter不一定是解碼器,也可能是某種其他的處理