1. 程式人生 > 資訊 >小米 11 Pro & Ultra 首發搭載,官方詳解自研夜景演算法 “夜梟”

小米 11 Pro & Ultra 首發搭載,官方詳解自研夜景演算法 “夜梟”

4 月 1 日訊息小米 11 Pro & Ultra 首發搭載了小米自研的 “夜梟”演算法,號稱能實現更好的照片去噪效果,恢復更多細節,最終獲得清晰明亮影象。

今天小米官方詳細介紹了這個 “夜梟”演算法,稱該演算法能夠帶來噪聲小、手持穩、色彩準三大優點,通過創新的深度學習 AI 演算法,突破了暗光視覺極限,實現了在即使伸手不見五指的環境下,依然能拍出清晰、明亮的影象。

瞭解到,小米 11 Pro 與小米 11 Ultra 均搭載驍龍 888 處理器,將於明日正式開售,感興趣的小夥伴可以關注一下。

附官方科普全文:

一個神奇的演算法:「夜梟」

有些拍照場景,你可能 99% 都碰不到:當環境光線照度在 0.1Lux 以下時,人眼幾乎很難見物,甚至鑰匙掉在地面上都難以找到,這時拍出的照片會完全無法使用。但我們為了這 1% 的極限拍攝場景,自主研發了一個神奇的演算法:「夜梟」。

極暗光環境下拍攝時,傳統相機和手機會遇到哪些問題?

難題一、環境亮度低、噪聲大,現有深度學習技術很難採集資料,很難有效降噪。

難題二、使用傳統演算法進行多張堆疊,只能緩解噪聲和色差的影響,很難對已失去的影象資訊進行恢復。

難題三、採用長曝光方式,通過增長曝光時間來提升影象質量,使用者手持拍攝容易糊成一片。

難題四、傳統提亮演算法會大幅提高去噪聲難度,同時還會影響白平衡導致校正顏色失去準確性。

針對以上問題,小米 11 Pro & Ultra 首發自研「夜梟」演算法,通過獲取連續 8 張曝光正確的 EV0 照片,結合自研影象測光演算法、影象配準融合演算法、影象重建演算法、影象色彩矯正演算法,實現更好的去噪效果,恢復更多細節,最終獲得清晰明亮影象。

深度學習技術最大難點在於訓練資料的獲得。考慮極暗光場景環境亮度低、噪聲大,很大程度上增大了資料採集的難度。

噪聲小

畫面純淨的不像夜景照片

小米「夜梟」演算法自主研發了極暗光場景下的噪聲標定系統,充分了解極暗光場景噪聲的分佈和形態,從而補充大量模擬噪聲資料,提升了訓練資料的豐富度,使去噪過程更具有針對性;同時「夜梟」演算法自主研發了極暗光場景資料採集系統,使用多種真實相機進行資料採集,補充真實相機資料來獲取更好去噪效果。

手持穩

達到三腳架長曝光 30 秒穩定效果

極暗光場景的最大特點就是噪聲大,首先最大難點在於如何有效在去除影象噪聲的同時,恢復出更多的影象細節。目前,即使使用多幀影象疊加去噪的方式,也會存在影象邊緣資訊丟失和部分內容失真。而神經網路可以在進行影象去噪優化,通過深度學習的方式,即使出現區域性資訊殘缺的現象,也能恢復出豐富細節的高質量區域性影象。「夜梟」演算法中的 AI 去噪演算法,結合多幀 EV0 RAW 域圖片資訊,進行影象對齊,降低拍攝手抖的影響;還可實現充分利用圖內資訊和圖間資訊互相補充,從而獲得更好的去噪效果,恢復更加豐富的細節資訊。

色彩準

AI 測光和顏色矯正模組解決色彩失真問題

亮度的提升和色彩的還原也是極暗光場景的另一大難題。進行過大的影象提亮會導致去噪難度提升,同時大量噪聲會導致傳統的白平衡過程無法獲得準確關鍵資訊點,導致矯正顏色失準。「夜梟」演算法中還包含 AI 測光和顏色矯正模組,可根據場景資訊、感測器資訊綜合計算出所需要的曝光引數、幀數以及顏色資訊,根據不同的環境亮度和場景內容,實現不同程度的亮度提升和色彩還原過程,權衡了提亮和去噪的影響程度,有效解決了顏色失真問題,提升了夜梟演算法的環境自適應能力。

「夜梟」演算法通過創新的深度學習 AI 演算法,突破了暗光視覺極限,實現了在即使伸手不見五指的環境下,依然能拍出清晰、明亮的影象。

京東小米 11 Pro 8GB+256GB 黑色 5299 元直達連結京東小米 11 Ultra 12GB+256GB 黑色 6499 元直達連結