1. 程式人生 > >sensor輸出的四種類型:YUV,RGB,RAW RGB,JPEG。

sensor輸出的四種類型:YUV,RGB,RAW RGB,JPEG。

簡單來說,
YUV: luma (Y) + chroma (UV) 格式, 一般情況下sensor支援YUV422格式,即資料格式是按Y-U-Y-V次序輸出的
RGB: 傳統的紅綠藍格式,比如RGB565,其16-bit資料格式為5-bit R + 6-bit G + 5-bit B。G多一位,原因是人眼對綠色比較敏感。
RAW RGB: sensor的每一畫素對應一個彩色濾光片,濾光片按Bayer pattern分佈。將每一個畫素的資料直接輸出,即RAW RGB data
JPEG: 有些sensor,特別是低解析度的,其自帶JPEG engine,可以直接輸出壓縮後的jpg格式的資料

對於這幾種輸出格式,幾個疑問:
1、 有些手機基帶晶片只能支援2M以下的YUV sensor,3M以上只能使用JPEG sensor,這裡說明YUV輸出格式對基帶晶片有一定的要求, 那麼到底YUV sensor對基帶晶片有怎樣的要求呢?
2、 如果直接輸出RGB,對於LCD的顯示是最方便的,那麼為何大多數基帶晶片都是要求輸出為YUV格式的資料再進行處理呢?

1 YUV一個畫素佔2B,如果畫素太高在高時鐘下基帶晶片處理不過來,JPEG資料量就要小的多,所以不是YUV對基帶晶片有要求而是基帶晶片對輸出資料速率有要求。
2 RGB565一般用在很低端的基帶晶片上,直接往屏上刷。YUV輸出亮度訊號沒有任何損失,而色偏訊號人眼並不是特別敏感,RGB565輸出格式是R5G3 G3B5會丟掉很多原始資訊,所以YUV影象質量和穩定性要比RGB565好的多
3 RAW資料每個畫素就1B,資料量要少很多,一般5M以上sensor就只輸出RAW資料以保證比較快的輸出速度,後端掛一個DSP來處理輸出的資料。
--------------------------------------------------------------------------------
RAW和JPEG的區別
RAW格式檔案基本上是一個沒有經任何影象處理的原始檔, 它能原原本本地記錄相機拍攝到的信 息,沒有因為影象處理(如銳化、增加色彩對比)和壓縮而造成的資訊丟失,但需要用特別的軟體 來開啟這些檔案。 另一種常用的格式便是JPEG,相機會先根據使用者的設定來做一定的影象處理,然後經過壓縮 (程度因相機內設定的照片質量而定)和儲存照片。 為何要拍攝RAW? RAW是一種專業攝影師常用的格式,因為它能原原本本地儲存資訊,讓使用者能大幅度對照片進行 後期製作,如調整白平衡、曝光程度、顏色對比等設定,也特別適合新手補救拍攝失敗的照片,而 且無論在後期製作上有什麼改動,相片也能無損地回覆到最初狀態,不怕因意外儲存而損失照片。 RAW還有一個好處,例如佳能DPP軟體可以修正鏡頭失光、變形等。 JPEG格式有什麼優點? JPEG格式為一種非常普及的照片格式,差不多所有現代數碼相機都能使用這個格式,絕大部分 的計算機上也能開啟JPEG檔案,使用者也可以隨意設定壓縮程度來保留畫質(最佳的JPEG畫質跟RAW 的非常接近),是一種十分方便的格式。 我該拍攝RAW還是JPEG? 在討論這個問題之前,讓我們看看RAW格式有什麼缺點: 1.因為RAW檔案需要保留所有細節和資訊,所以檔案比JPEG大很多,這樣儲存照片或把照片傳輸 到計算機的時間便更長更久,需要的儲存容量也更大; 2.RAW檔案需要使用特別的軟體來開啟,一旦計算機沒有安裝軟體便沒法開啟檔案; 3.承上,一旦10年後那套特定的軟體沒法安裝,之前拍攝的照片便沒有辦法開啟; 4.軟體開啟RAW的時間比較長,快的需要8、9s,慢的可能要用上20s也說不定; 5.不同的軟體有不同的方式去“演譯”RAW檔案,所以一個RAW檔案在Photoshop 和Nikon Capture NX看可能會有所差別; 6.廠商賣的專用軟體價錢不低。(佳能DPP可以免費下載,尼康NX則需另購) 清楚RAW的缺點以後,我們便可以看看哪種情況應該選擇RAW或JPEG: 如果你需要拍攝大量的照片,應該考慮使用JPEG,因為其容量需求比較少和可以保留後制及把 照片轉換為JPEG的時間; 如果你用作商業拍攝或喜歡後期製作,應該使用RAW,因為後製空間較大; 如果你正進行旅行攝影,可以考慮使用RAW或者RAW+JPEG,因為旅行的地方可能沒法常去,使用 RAW讓你一旦拍攝失敗也有較大的機會補救。 後記 其實現在Photoshop的功能很強大,對於JPEG檔案也能通過level或curve來調較曝光、白平衡、 色彩對比等,當然如果需要做大幅度的調整還是RAW檔案比較適合的。

攝像頭資料格式

攝像頭的資料輸出格式一般分為CCIR601、CCIR656、RAW RGB等格式,此處說的RGB格式應該就是CCIR601或CCIR656格式。而RAW RGB格式與一般的RGB格式是有區別的。
我們知道,Sensor的感光原理是通過一個一個的感光點對光進行取樣和量化,但,在Sensor中,每一個感光點只能感光RGB中的一種顏色。所以,通常所說的30萬畫素或130萬畫素等,指的是有30萬或130萬個感光點。每一個感光點只能感光一種顏色。

但是,要還原一個真正影象,需要每一個點都有RGB三種顏色,所以,對於CCIR601或656的格式,在Sensor模組的內部會有一個ISP模組,會將Sensor採集到的資料進行插值和特效處理,例如:如果一個感光點感應的顏色是R,那麼,ISP模組就會根據這個感光點周圍的G、B感光點的數值來計算出此點的G、B值,那麼,這一點的RGB值就被還原了,然後在編碼成601或656的格式傳送給Host。

而RAW RGB格式的Sensor則是將沒個感光點感應到的RGB數值直接傳送給Host,由Host來進行插值和特效處理。

Raw RGB 每個畫素只有一種顏色(R、G、B中的一種);
RGB 每個畫素都有三種顏色,每一個的值在0~255之間;
在手機攝像頭的測試過程中,由sensor輸出的資料就是Raw data(Raw RGB),經過彩色插值就變成RGB

 sensor輸出的資料格式,主要分兩種:YUV(比較流行),RGB,這就是sonsor的資料輸出;這其中的GRB就是Raw RGB,是sensor的bayer陣列獲取的資料(每種感測器獲得對應的顏色亮度);
但是輸出的資料不等於就是影象的實際資料,模組測試時,就要寫一個軟體,完成資料採集(獲得Raw data)->彩色插值(目的是獲得RGB格式,便於影象顯示)->影象顯示;
這樣就可以發現整個模組是否正常,有無壞點,髒點的等,檢測出不良品;(軟體的處理過程當中,為了獲得更好的影象質量,還需要白平衡,gamma校正,彩色校正)
而在手機的應用中,手機根據相機模組的資料格式,提供一個ISP(主要用於RGB格式的),配合軟體,使照相功能得到應用;


對於SENSOR來說,Bayer RGB和RGB Raw兩者的圖象結構都是BG/GR的(Bayer pattern說的是COLOR FILTER的結構,分為兩種:STD Bayer pattern 與Pair pattern,其中STD Bayer pattern的結構是BG/GR的,而Pair Pattern顧名思義是指BGBG/GRGR的結構,即以四行為一個單位,前兩行是BG的結構,後兩行是GR的結構,這種結構是美光專門為此申請了專利的,主要是在輸出TV模式(NTSC/PAL制)時用到),
由於後端應用時,對RAW DATA影象的 解碼是按預設的結構來 解碼的 ,如BG/GR,因此 Bayer RGB和RGB Raw兩者的圖象結構必須都是BG/GR的,而如果輸出影象結構是BGBG/GRGR,則不可以直接顯示和解碼 的。
Bayer RGB與RGB Raw的主要區別在於兩者輸出前經過的處理不同,Bayer RGB從ADC輸出,只經過了LENS SHADING CORRECTION,GAMMA等模組處理而後就直接輸出,而RGB Raw則經過了整個ISP模組的處理,最終是經過YUV422的資料轉化而來的

數字視訊CCIR 601編碼標準

一、取樣頻率:為了保證訊號的同步,取樣頻率必須是電視訊號行頻的倍數。CCIR為NTSC、PAL和SECAM制式制定的共同的電檢視像取樣標準:
fs=13.5MHz
這個取樣頻率正好是PAL、SECAM制行頻的864倍,NTSC制行頻的858倍,可以保證取樣時取樣時鐘與行同步訊號同步。對於4:2:2的取樣格式,亮度訊號用fs頻率取樣,兩個色差訊號分別用
fs/2=6.75MHz的頻率取樣。由此可推出色度分量的最小取樣率是3.375MHz。

二、解析度:根據取樣頻率,可算出對於PAL和SECAM制式,每一掃描行取樣864個樣本點;對於NTSC制則是858個樣本點。由於電視訊號中每一行都包括一定的同步訊號和回掃訊號,故有效的影象訊號樣本點並沒有那麼多,CCIR 601規定對所有的制式,其每一行的有效樣本點數為720點。由於不同的制式其每幀的有效行數不同(PAL和SECAM製為576行,NTSC製為484行),CCIR定義720×484為高清晰度電視HDTV(High Definition TV)的基本標準。實際計算機顯示數字視訊時,通常採用下表的引數:

電視制式    解析度      幀 率
NTSC        640×480     30
PAL           768×576      25

三、資料量:CCIR 601規定,每個樣本點都按8位數字化,也即有256個等級。但實際上亮度訊號佔220級,色度訊號佔225級,其它位作同步、編碼等控制用。如果按fs的取樣率、4:2:2的格式取樣,則數字視訊的資料量為:
13.5(MHz)×8(bit)+2×6.75(MHz)×8(bit) = 27Mbyte / s

同樣可以算出,如果按4:4:4的方式取樣,數字視訊的資料量為每秒40兆位元組!按每秒27兆位元組的資料率計算,一段10秒鐘的數字視訊要佔用270兆位元組的儲存空間。按此資料率,一張680兆位元組容量的光碟只能記錄約25秒的數字視訊資料資訊,而且即使目前高倍速的光碟機,其資料傳輸率也遠遠達不到每秒27兆位元組的傳輸要求,視訊資料將無法實時回放。這種未壓縮的數字視訊資料量對於目前的計算機和網路來說無論是儲存或傳輸都是不現實的,因此,在多媒體中應用數字視訊的關鍵問題是數字視訊的壓縮技術。

 CCIR601和CCIR656標準的區別
關於這兩種訊號的區別:
ITU-R BT 601:16位資料傳輸;21芯;Y、U、V訊號同時傳輸。
ITU-R BT 656:9芯,不需要同步訊號;8位資料傳輸;序列視訊傳輸;傳輸速率是601的2倍;先傳Y,後傳UV。
CCIR601要通過行、場同步兩根訊號線來傳遞行、場同步資訊;
CCIR656不需要這兩根訊號線,它只通過8位資料線實現“軟”同步。
CCIR656=CCIR601+HSYNC+VSYNC
656輸出的是序列資料,行場同步訊號嵌入在資料流中;
601是傳輸的是並行資料,行場同步有單獨輸出;
656只是資料傳輸介面而已,可以說是作為601的一個傳輸方式。
簡單的說ITU-R BT.601是“演播室數字電視編碼引數” 標準,而ITU-R BT.656則是ITU-R BT.601附件A中的數字介面標準,用於主要數字視訊裝置(包括晶片)之間採用27Mhz/s並口或243Mb/s序列介面的數字傳輸介面標準。
CCIR601號建議的制定,是向著數字電視廣播系統引數統一化、標準化邁出的第一步。在該建議中,規定了625和525行系統電視中心演播室數字編碼的基本引數值。
601號建議單獨規定了電視演播室的編碼標準。它對彩色電視訊號的編碼方式、取樣頻率、取樣結構都作了明確的規定。
它規定彩色電視訊號採用分量編碼。所謂分量編碼就是彩色全電視訊號在轉換成數字形式之前,先被分離成亮度訊號和色差訊號,然後對它們分別進行編碼。分量訊號(Y、B -- Y、R -- Y)被分別編碼後,再合成數字訊號。 它規定了取樣頻率與取樣結構。
例如:在4:2:2等級的編碼中,規定亮度訊號和色差訊號的取樣頻率分別為13.5MHZ和6.75MHZ,取樣結構為正交結構,即按行、場、幀重複,每行中的R-Y和B-Y取樣與奇次(1,3,5……)Y的取樣同位置,即取樣結構是固定的,取樣點在電視螢幕上的相對位置不變。 它規定了編碼方式。對亮度訊號和兩個色差訊號進行線性PCM編碼,每個取樣點取8位元量化。同時,規定在數字編碼時,不使用A/D轉換的整個動態範圍,只給亮度訊號分配220個量化級,黑電平對應於量化級16,白電平對應於量化級235。為每個色差訊號分配224個量化級,色差訊號的零電平對應於量化級128。
綜上所述,我們知道,分量訊號的編碼資料流是很高的。以4:2:2編碼標準為例,其位元流為:13.5×8+6.75×8×2=216Mb/S。若採用4:4:4編碼方式,即對複合訊號直接編碼,其抽樣頻率取為13.3×8=106.4 Mb/S。
PS:我們可以認為CCIR601即“ITU-R BT.601-5”,“ITU-R BT.656-4"即CCIR601。

656只有8位DATA+CLK,601有8位DATA+CLK+HSYNC+VSYNC,還有16位DATA+CLK+HSYNC+VSYNC。
656把HSYNC、VSYNC插到資料中,601的資料線只有資料