1. 程式人生 > 資訊 >小米 12 系列影像系統詳解:重寫整個相機架構,異構 / 並行運算

小米 12 系列影像系統詳解:重寫整個相機架構,異構 / 並行運算

1 月 6 日訊息,今日小米官方發表文章,對小米 12 系列的影像系統進行詳解。小米 12 系列專注於解決以往拍照不夠快的問題,同時小米 12 Pro 首發索尼 IMX707 感測器,擁有更出色的夜景拍攝能力。

小米表示,歷時兩年重寫了整個相機架構,並將軟硬體能力整合重建,打造全新的小米影像大腦,而小米 12 系列上搭載的小米影像大腦,共包含意圖識別單元、計算單元、加速引擎、生態引擎四個部分。

  • 意圖識別單元的作用是判斷使用者的意圖,然後動態調整演算法的使用強度,包括智慧動態分配記憶體等等。當用戶不停地按下快門,此時小米影像大腦就會認為使用者意圖是記錄下更多的畫面,然後就會優先保證拍照速度。

  • 加速引擎則是利用驍龍 8 平臺進行賦能,將 CPU、GPU、DSP、ISP 等多個模組的計算能力進行整合與充分排程,讓整個過程並行協同,從而達到大幅提升速度的優化效果。

  • 計算單元則是通過強大的計算攝影能力,呼叫先進演算法進行畫質上的調優,比如多幀合成、降噪演算法、去偽色演算法、白平衡校準等等,讓畫面變得更加清晰自然,從而達到接近甚至超越傳統光學攝影的效果。

  • 生態引擎則是打通了硬體到第三方應用的管道,將小米影像大腦的能力通過小米自有 SDK 開放給第三方,這樣讓第三方應用未來也能夠呼叫小米影像大腦的能力,從而達到畫質調優,速度提升的效果。

官方表示,小米 12 系列相機啟動速度快了 21.2%,拍照速度也快了 53.7%,連續拍照更是快了 209%,夜景拍照速度同樣也快了 39.9%。在這其中,小米影像大腦的異構計算與演算法並行處理起到了關鍵作用。

為了對拍攝過程進行優化,小米採用了全新的“執行緒並行化技術

”,讓處理演算法上移,同時並行處理多張照片。此外,將原先的硬體 HAL 層抽象化管理為小米自己的 HAL 層,讓硬體演算法能夠隨意組合變化,甚至外掛化管理。再加上演算法預載入優化與演算法併發優化,使得處理多張連拍的能力大幅提高。異構計算能夠減少不必要的演算法庫載入,從而達到降低記憶體和加快速度的效果。

瞭解到,小米 12 Pro 首發的索尼 IMX707 CMOS 感測器,尺寸為1/1.28 英寸,具有 5000 萬畫素,單畫素大小達到 1.22μm,支援畫素四合一。該感測器的感光能力相比 IMX766 提升 49%,配合小米自研夜梟 2.0 演算法,可以實現純淨的夜景拍攝效果。

不僅如此,感光能力的增強,還使得 IMX707 感測器實現更快的拍照速度、更好的抓拍能力。