數碼相機的出現和發展正在深刻的影響著人們的日常生活。也許將來某一天數碼相機的畫質會趕上並超過傳統膠片相機，但數碼相機的根本優勢並不在此，而是和其他數字資訊產品一樣，在於資訊的無損儲存／複製／傳輸和後續處理。例如，數字照片和視訊可以方便的通過網際網路傳播，而其和計算機相聯接則可實現機器視覺來實現諸如導彈視訊制導，交通智慧管理，產品缺陷的自動檢測等。

色彩對於很多機器視覺應有並不重要，但對於人類消費者來說色彩是一個重要的因素。為了模擬人眼的三色視覺原理，彩色的數字相機需要採集三個顏色通道（通常是RGB）的資訊。而其實現通常如下：

1)分時。
既對每一幅影象進行3次曝光，每次在感光元件前分別放置不同的顏色濾鏡。其缺點是活動機械部件影響系統的複雜性和可靠性，不適合於拍攝高速活動目標。這種系統在早期有過應用，現在則很少見了。

2)3感測器。
通過分色鏡將紅綠藍成分分離並投射到不同的3個感測器上。這種方式可以獲得極佳的色彩分離和空間解析度。但是需要很高的成本：額外的感測器和分色鏡。感測器精密裝配也是個技術難題：對於10x10um畫素的感測器，定位精度可能要求小於1um。而且由於鏡頭和感測器之間增加的距離，鏡頭的色散會變得更加明顯。


3)彩色濾片(color filter array)。

常見的如bayer pattern。在任一畫素，實際上只有一個顏色通道的資訊被採集，其他的資訊都被丟掉了。而顏色的還原是靠插值運算來完成的。優點在於低成本，而缺點也很明顯，低取樣率造成細節的丟失和顏色混疊(aliasing)。

4)多層感測器。

利用原理是矽所吸收光波長隨著光子能量而變化，即在不同深度的PN接面吸收不同顏色的光。Kodak公司早在70年代就開始了這樣的實驗，但由於當時製造工藝的問題而以失敗告終。最近較為流行的Foveon　X3就是這樣一個感測器,優點:單一感測器，每一畫素都獲取了三個顏色通道的資訊。缺點：較大的畫素尺寸造成同樣尺寸的畫素數量較低，三個顏色通道之間的串擾嚴重。

在Foveon進一步完善他們的設計和進一步降低成本之前，採用bayer pattern設計的相機還會佔據主導地位。具體的插值演算法都是各個公司的重要商業機密，但我們可以從一些公開發表的學術論文上了解一下常用的幾種演算法。

原始影象	雙線性	Ron Kimmel	Optimal Recovery

1)雙線性(bilinear)這是最簡單和古老的一種方法。
任何一畫素的缺失顏色都用最臨近的的４個同顏色畫素進行雙線性插值。
對於丟失的綠色：G8=(G3+G7+G9+G13)/4
對於丟失的紅色：R8=(R2+R4+R12+R14)/4
對於丟失的藍色：B12=(B6+B8+B16+B18)/4

缺點：雙線性插值的本質是一低通濾波器，造成邊緣模糊，沒有考慮顏色混疊。該演算法在最早期的數碼相機中曾有過應用。

2)Ron Kimmel
該演算法核心思想是假設在物體內部比值R/G和B/G恆定，而在邊緣則產生變化。在綠色畫素，計算該點在各個方向的梯度，然後用梯度值作為權重進行加權平均。而對紅色和藍色畫素，則利用它們對綠色的比值進行加權平均。該演算法顯著改善了物體邊緣的顏色混疊。

3)Optimal Recovery
仍然是基於對邊緣向量的估計，只是估計方法更為複雜。具體計算比較繁複，感興趣者可參見[1]。對於8M畫素的影象，需要~40億次運算，遠非一般DSP所能。但是產生的影象質量顯示了該演算法的潛力，也是目前公開發表的影象質量最佳的演算法。
結論：Nyquist取樣定理告訴我們，只有取樣頻率大於訊號最高頻率的2倍，我們才能完全重構出原訊號。所以無論採用什麼演算法，欠取樣是無法彌補的。所以出路似乎在於進一步提高畫素密度。但是光子的波粒二象性使得光子入射噪音隨著畫素尺寸的減小而不斷增大，而且畫素尺寸現在已經接近了光學的衍射極限。

參考文獻
[1]D. Darian Muresan and Thomas W. Parks,"Demosaicing Using Optimal Recovery",
IEEE TRANSACTIONS ON IMAGE PROCESSING, VOL. 14, NO. 2, FEBRUARY 2005

[2]Ron Kimmel,"Demosaicing: Image Reconstruction from Color CCD Samples",
IEEE TRANSACTIONS ON IMAGE PROCESSING, VOL. 8, NO. 9, SEPTEMBER 1999

[3]David L. Gilblom, "Operation and performance of a color image sensor with layered photodiodes"