1. 程式人生 > >光與影的地平線:手機AI攝影全析

光與影的地平線:手機AI攝影全析

AI手機攝影

在談論手機AI的時候,攝影一定是一個躲避不開的話題。華為P20系列、小米Mix 2S、OPPO R15這幾款當季新機也都把AI攝影當做主打功能。

從理論上來看,手機攝影與AI相關聯的原因在於,AI大潮來臨,芯片和雲計算技術的進步讓算力通貨膨脹,恰好滿足了快速處理圖像的條件。但也有很多人認為,手機AI攝影純屬於廠商的營銷噱頭,只是把重申一下圖像處理軟件的能力。但這次華為推出的P20系列,用權威相機評測機構DxOMark的超高評分突破了此前我們對手機攝影的認知,這其中的原因,既包括了感光元件、三攝鏡頭這樣的硬件提升,也包括了智能追焦這類AI帶來的軟件提升。這時如果我們重新審視手機AI,會發現它正在與手機攝影產生一種奇妙的化學反應。

技術分享圖片

人需要美,所以誕生了AI攝影的元世界

用戶們對手機拍照不滿意這件事,早就不是新聞了。

從500萬像素的“貴族”諾基亞,到人手一部前後2000萬高清自拍,像素的提高已經滿足不了社交網絡帶來的圖像展示需求。人們不僅需要清晰的照片,還需要美的照片。拍景景美,拍人人美。

有那麽一小段時間,手機廠商不知道自己應該如何滿足用戶了,他們只能提供更高的像素和更多倍的變焦。在這個空當裏,立刻出現了一批圖像處理App。有專做人像美容的美圖秀秀,有專做後期的Snapseed,甚至還有專門做雙重曝光效果的App,只為了滿足用戶各種各樣美的需求。

技術分享圖片

在這個時候,AI攝影的“元世界”已經誕生。因為用戶們光有了圖像處理App還不夠,人類的本性一直在驅逐懶惰,用戶還希望App可以自動為人臉美顏,識別出風景並加上適當的濾鏡。這時對於用戶來說,在拍攝不同對象打開不同App的相機,拍下照片後等兩秒種進行雲端處理,都是可以接受的。

很快手機廠商們意識到這一點:囿於終端算力的限制,人像美顏、圖像處理所依賴的人臉識別、神經風格遷移等技術只能犧牲用戶體驗在雲端進行。但提升終端算力之後,即使像素水平沒有太大變化,AI加持下對於場景的識別以及實時圖像加工,一樣可以提升用戶的攝影體驗。

技術分享圖片

於是在今天,我們才會看到鋪天蓋地如此之多的手機AI攝影。

感知與計算合作,才能捕捉瞬間美好

可當我們提到AI攝影時,一個不能忽略的元素就是AI芯片對於算力的提升。之前也能發現,同樣是主打AI功能,華為Mate10系列、P20系列以及榮耀V10可以做到智能節電、智慧資源調度等等依賴於更高算力的功能。

在手機AI攝影時,邏輯也是一樣的。在這次P20能夠屠榜DxOMark的表因是硬件的提升,如同相機圈裏的“底大一級壓死人”,P20系列1/1.7英寸的傳感器面積註定了它能提供更強的感光能力和細節表現力。

技術分享圖片

但同時我們要知道,P20系列能應用上更強大的硬件,是和麒麟970的強算力緊密相連的。當我們的手機從諾基亞變成智能機時,原來每張幾百KB的照片文件開始變成了幾MB,手機攝像模組的感知力越強,攝像時芯片要處理的數據也就越多。而任何一種功能中的數據過載,都有可能造成手機應用的卡頓。可攝影這種行為的終極目的,就是對一切轉瞬即逝美好的精密捕捉。卡頓、緩慢這些詞匯,怎能在攝影時出現?

所以我們可以看到,近年來幾款在攝影上有著新突破的手機都是將攝影模組和芯片兩項能力一起提升的,讓芯片速度可以跟得上攝影能力,呈現給用戶良好的拍攝體驗。

技術分享圖片

iPhone X就是其中一個比較典型的案例。iPhone X在攝影方面最吸引人的功能既是人像光效,通過算法的模擬,攝影棚一樣的光效與人臉結合。想實現這一效果,與iPhone X前置的3D結構光傳感器是分不開的,只有對人臉結構、輪廓細節的立體感知,才能讓光效真實貼合。而3D結構光傳感器帶來的大量數據運算,被交由仿生芯片A11來解決。

技術分享圖片

另一種典型案例則是谷歌的Pixel 2。谷歌Pixel 2也曾被DxOMark打出98分的高分,勝過了97分的iPhone X。有趣的是當大多數手機都應用雙攝時,Pixel 2用單攝卻能實現更好的拍攝效果。而谷歌的解決方案是在攝像頭裏加入一顆專用IPU(圖像處理協處理器)和各種傳感器,用攝像頭感知空間深度等等數據並進行計算。

到了P20系列上,這種芯片與攝像頭硬件的結合路徑更加清晰。

就拿超級夜景這一功能來說,手機能否在暗光條件下更好的拍攝,的確取決於手機本身的感光能力,感光元件面積越大單個像素尺寸就越大,也就能提升對光的敏感性,捕捉到更多暗光下的細節。

可即使在高感光能力之下,夜景拍攝也很難像白天拍攝那樣,用幾十甚至幾百分之一秒的快門時間完成成像,而是需要2秒甚至更長的快門時間完成進光。這時人手的自然抖動,和可能就會影響最終成像效果,留下一張模糊的照片。

技術分享圖片

P20系列的超級夜景功能,就是加入了抖動還原算法,把幾秒快門內的成像進行對齊,最終形成一張清晰的照片。而超級夜景的整個實現過程,也只需要幾秒鐘。在這幾秒鐘內完成高像素成像和算法處理兩項工作,要是脫離開麒麟970的算力基礎顯然是無法實現的。

其余的還有智能追焦中對拍攝主體運動的預測、三攝變焦對遠景對象的自動銳化等等,這些幫助用戶拍到更好照片的功能,依靠的都是在麒麟970架構下,AI時時刻刻對大體量圖像文件的計算。

單反之外的另一種解決方案

很多人都開始猜測,在P20為手機AI攝影打開新世界後,手機攝影的下一步應該往哪走?其中一個最突出的聲音就是,手機攝影即將取代單反,逐步走向專業化。

技術分享圖片

關於手機攝影與單反攝影媲美這件事,在P20上已有端倪。P20系列擁有接近微單和卡片機的感光元件;還可以拍攝出單反相機經常應用的RAW格式,保留更多細節方便進行後期;用戶甚至可以選擇和單反M檔一樣的專業模式,手動調節焦距、光圈和快門……

可即使擁有了這麽多功能,手機在硬件上也很難真正“取代”單反。單反相機的機械快門、多種鏡頭與閃光燈組合的可拓展性,對於手機來說幾乎是不可逾越的鴻溝。同時對於用戶來講,搞明白白平衡、光圈大小、ISO數值等等理論知識,幾乎只是入門單反拍攝的第一步,接下來還要學習構圖、後期等等一系列復雜的知識。

技術分享圖片

於是出現了很多人拿著單反只會按快門,陳可辛卻能用iPhone拍出《三分種》的現狀。最終人們發現,攝影的鴻溝不是單反和手機之間硬件的差別,而是專家和小白之間的經驗差別。

於是在AI加持之下,手機攝影能做到的是讓大多數人越過單反所需的復雜攝影知識,而獲得更接近單反的拍照效果。場景識別、人像光效和超級夜景這些能力的背後,消弭的是用戶對參數調節、三腳架等等軟硬件的學習過程。為想要記錄生活美好的人們提供另外一種可能,不懂攝影,也能拍下美好的照片。手機AI攝影並不是為了取代誰,更是另外一種解決方案。

技術分享圖片

就像P20系列為AI攝影功能取得名字——Master AI,利用AI將大師的經驗和能力下放給每個普通人,是AI之於每一個領域的關鍵意義。

在攝影硬件與芯片硬件共同獲得提升時,手機AI攝影才真正擁有了翅膀。前行的航線直至光影交錯的地平線,讓每個人都可以像大師一樣,在明暗交錯間捕捉瞬間的美好。


光與影的地平線:手機AI攝影全析