深度圖採集三種技術 結構光,TOF,RGB雙目
轉自 https://blog.csdn.net/qq_37764129/article/details/81011221
目前的深度相機根據其工作原理可以分為三種:TOF、RGB雙目、結構光
一、RGB雙目
RGB雙目相機因為非常依賴純影象特徵匹配,所以在光照較暗或者過度曝光的情況下效果都非常差,另外如果被測場景本身缺乏紋理,也很難進行特徵提取和匹配。你看看下面的圖就懂了。
三種相機的引數對比:
從解析度、幀率、軟體複雜度、功耗等方面來考慮
(1)解析度
TOF方案深度圖解析度很難提高,一般都達不到VGA(640x480)解析度。比如Kinect2的TOF方案深度圖解析度只有512x424。而Google和聯想合作的PHAB2手機的後置TOF深度相機解析度只有224x171。TOF方案受物理器件的限制,解析度很難做到接近VGA的,即使做到,也會和功耗呈指數倍增長。
結構光的解析度在較近使用範圍內,結構光方案的解析度會大大高於TOF方案。比如目前結構光方案的深度圖最高可以做到1080p左右的解析度了。
(2)幀率
幀率的話,TOF方案可以達到非常高的幀率,差不多上百fps吧。結構光方案幀率會低點,典型的是30fps,不過這也基本夠用了。
(3)軟體複雜度
結構光因為需要對編碼的結構光進行解碼,所以複雜度要比直接測距的TOF高一些。
(4)功耗
TOF是鐳射全面照射,而結構光是隻照射其中區域性區域,比如PrimeSense的偽隨機散斑圖案,只覆蓋了不到十分之一的空間。另外,TOF發射的是高頻調製脈衝,而結構光投射圖案並不需要高頻調製,所以結構光的功耗要比TOF低很多。還是以偽隨機散斑結構光為例,結構光方案功耗只有TOF的十分之一不到吧。
下面是三種方案在解析度,幀率,軟體複雜度和功耗方面的對比結果。
結構光方案還有一個優勢在於技術成熟,PrimeSense很早就把結構光技術用在kinect一代產品中了。目前結構光技術有如下幾種變種:一種是單目IR+投影紅外點陣,另外一種是雙目IR+投影紅外點陣,這樣相當於結構光+雙目立體融合了,深度測量效果會比前者好一些,比如Intel RealSense R200採用的就是雙目IR+投影紅外點陣,不足之處就是體積較大。而單目IR+投影紅外點陣的方案雖然體積較小,但是效果會差一點。
(5)計算複雜度
計算方式也分幾種:一是直接用ASIC(專用積體電路)進行計算,成本稍微高一點,但是處理速度快,支援高幀率和高解析度深度相機,關鍵是比通用晶片功耗低。二是DSP+軟體演算法,成本跟用ASIC差不多,但支援不了高幀率高解析度,功耗比ASIC稍高。三是直接用手機的AP(Application Processor)進行純軟體計算,這個不需要額外增加硬體成本,但是比較消耗AP的計算資源。同樣也不支援高幀率高解析度,功耗比較大。
iPhone X的深度相機技術方案:結構光原理的深度相機。具體來說是:單目IR+投影紅外點陣+ASIC方案。該方案在深度解析度、深度測量精度上有較大優勢,實時性處理和全天候工作也都有保障,功耗也相對較低,就是成本稍高了一些。
9月13日蘋果釋出了致敬十週年的新機型iPhone X,其中前置原深感(TrueDepth)相機引起了極大的輿論關注。該相機的構成如下圖所示。從左到右,依次是紅外鏡頭、泛光感應元件、距離感測器、環境光感測器、揚聲器、麥克風、700萬畫素攝像頭、點陣投影器。其中最有里程碑意義的當屬紅外鏡頭 + 點陣投影器 + RGB攝像頭的組合。