假 3D 場景逼真到火爆外網:超 1 億畫素無死角,AI 渲染新高度
10 月 18 日訊息,先來看一段“視訊”,有沒有看出什麼不對勁的地方?
其實,這僅僅是由一組照片渲染出來的(右下角為拍攝照片)!
生成的也不僅僅是一段視訊,更是一個 3D 場景模型,不僅能任意角度隨意切換、高清無死角,還能調節曝光、白平衡等引數,生成“船新”的照片:
在完全不同的場景下,例如一個坦克廠中,同樣能用一組照片渲染出逼真 3D 場景,相同角度與真實拍攝影象幾乎“完全一致”:
要知道,之前蘋果雖然也做過一組照片生成目標物體 3D 模型的功能,但最多就是一件物體,例如一隻箱子:
這次可是整個 3D 場景!
這是德國埃爾朗根-紐倫堡大學的幾位研究人員做的專案,效果一出就火得不行,在國外社交媒體上贊數超過 5k,閱讀量達到 36w+。
那麼,這樣神奇的效果,究竟是怎麼生成的呢?
用照片還原整個 3D 場景圖
整體來說,這篇論文提出了一種基於點的可微神經渲染流水線 ADOP(Approximate Differentiable One-Pixel Point Rendering),用 AI 分析輸入影象,並輸出新角度的新影象。
在輸入時,由於需要建模 3D 場景,因此這裡的照片需要經過嚴格拍攝,來獲取整個場景的稀疏點雲資料。
具體來說,作者在從照片獲取點雲資料時,採用了 COLMAP。
先從多個不同的角度拍攝場景中的照片,其中每張照片的視角都會經過嚴格控制。
然後採用 SfM(Structure From Motion,運動恢復結構)方法,來獲取相機內外引數,得到整個場景的 3D 重建資料,也就是表示場景結構的稀疏點雲:
然後,包含點雲等資訊的場景資料會被輸入到流水線中,進行進一步的處理。
流水線(pipeline)主要分為三個部分:可微光柵化器、神經渲染器和可微色調對映器。
首先,利用多解析度的單畫素點柵格化可微渲染器(可微光柵化器),將輸入的相機引數、重建的點雲資料轉換成稀疏神經影象。
其中,模型裡關於影象和點雲對齊的部分,採用了 NavVis 資料集來訓練。
然後,利用神經渲染器,對稀疏神經影象進行陰影計算和孔洞填充,生成 HDR 圖片。
最後,由於不是每個裝置都支援 HDR 畫面,因此在顯示到 LDR 裝置之前,還需要利用基於物理的可微色調對映器改變動態範圍,將 HDR 影象變成 LDR 影象。
每個場景 300+ 影象訓練
這個新模型的優勢在哪裡?
由於模型的所有階段都可微,因此這個模型能夠優化場景所有引數(相機模型、相機姿勢、點位置、點顏色、環境圖、渲染網路權重、漸暈、相機響應函式、每張影象的曝光和每張影象的白平衡),並用來生成質量更高的影象。
具體到訓練上,作者先是採用了 688 張圖片(包含 73M 個點)來訓練這個神經渲染流水線(pipeline)。
針對 demo 中的幾個場景(火車、燈塔、遊樂園、操場等),作者們分別用高階攝像機拍攝了 300~350 張全高清影象,每個場景生成的畫素點數量分別為 10M、8M、12M 和 11M,其中 5% 的影象用作測試。
也就是說,製作這樣一個 3D 場景,大約需要幾百張影象,同時每張影象的拍攝需要經過嚴格的角度控制。
不過仍然有讀者表示,拍幾百張影象就能用 AI 做個場景出來,這個速度比當前人工渲染是要快多了。
功能上,模型既能生成可以調節引數的新角度照片,還能自動插值生成全場景的 3D 渲染視訊,可以說是挺有潛力的。
那麼,這個模型的效果與當前其他模型的渲染效果相比如何呢?
實時顯示 1 億 + 畫素點場景
據作者表示,論文中採用的高效單畫素點柵格化方法,使得 ADOP 能夠使用任意的相機模型,並實時顯示超過 1 億個畫素點的場景。
肉眼分辨生成結果來看,採用同行幾個最新模型生成的圖片,或多或少會出現一些偽影或是不真實的情況,相比之下 ADOP 在細節上處理得都非常不錯:
從資料來看,無論是火車、操場、坦克還是燈塔場景,在 ADOP 模型的渲染下,在 VGG、LPIPS 和 PSNR 上幾乎都能取得最優秀的結果(除了坦克的資料)。
不過,研究本身也還具有一些侷限性,例如單畫素點渲染仍然存在點雲稀疏時,渲染出現孔洞等問題。
但整體來看,實時顯示 3D 場景的效果還是非常出類拔萃的,不少業內人士表示“達到了 AI 渲染新高度”。
已經有不少網友開始想象這項研究的用途,例如給電影製片廠省去一大波時間和精力:
(甚至有電影系的學生想直接用到畢設上)
對遊戲行業影響也非常不錯:
在家就能搞 3A 大作的場景,是不是也要實現了?簡直讓人迫不及待。
還有人想象,要是能在 iPhone 上實現就好了(甚至已經給 iPhone 15 預定上了):
對於研究本身,有網友從行外人視角看來,感覺更像是插幀模型(也有網友迴應說差不多是這樣):
也有網友表示,由於需要的影象比較多,效果沒有宣傳中那麼好,對研究潛力持保留態度:
雖然目前作者們已經建立了 GitHub 專案,但程式碼還沒有放出來,感興趣的同學們可以先蹲一波。
至於具體的開源時間,作者們表示“會在中了頂會後再放出來”。(祝這篇論文成功被頂會收錄~)
論文地址:點選開啟
專案地址 (程式碼還沒 po 出來):點選開啟