站在門口看一眼，AI 就能腦補出房間裡面長什麼樣：

是不是有線上 VR 看房那味兒了？不只是室內效果，來個遠景長鏡頭航拍也是 so easy：

而且渲染出的影象通通都是高保真效果，彷彿是用真相機拍出來的一樣。最近一段時間，用 2D 圖片合成 3D 場景的研究火了一波又一波。但是過去的許多研究，合成場景往往都侷限在一個範圍比較小的空間裡。比如此前大火的 NeRF，效果就是圍繞畫面主體展開。

這一次的新進展，則是將視角進一步延伸，更側重讓 AI 預測出遠距離的畫面。

比如給出一個房間門口，它就能合成穿過門、走過走廊後的場景了。

目前，該研究的相關論文已被 CVPR2022 接收。

輸入單張畫面和相機軌跡

讓 AI 根據一個畫面，就推測出後面的內容，這個感覺是不是和讓 AI 寫文章有點類似？實際上，研究人員這次用到的正是 NLP 領域常用的 Transformer。他們利用自迴歸 Transformer 的方法，通過輸入單個場景影象和攝像機運動軌跡，讓生成的每幀畫面與運動軌跡位置一一對應，從而合成出一個遠距離的長鏡頭效果。

整個過程可以分為兩個階段。

第一階段先預訓練了一個 VQ-GAN，可以把輸入影象對映到 token 上。VQ-GAN 是一個基於 Transformer 的影象生成模型，其最大特點就是生成的影象非常高清。在這部分，編碼器會將影象編碼為離散表示，解碼器將表示對映為高保真輸出。

第二階段，在將影象處理成 token 後，研究人員用了類似 GPT 的架構來做自迴歸。具體訓練過程中，要將輸入影象和起始相機軌跡位置編碼為特定模態的 token，同時新增一個解耦的位置輸入 P.E.。然後，token 被餵給自迴歸 Transformer 來預測影象。模型從輸入的單個影象開始推理，並通過預測前後幀來不斷增加輸入。

研究人員發現，並非每個軌跡時刻生成的幀都同樣重要。因此，他們還利用了一個區域性性約束來引導模型更專注於關鍵幀的輸出。這個區域性性約束是通過攝像機軌跡來引入的。基於兩幀畫面所對應的攝像機軌跡位置，研究人員可以定位重疊幀，並能確定下一幀在哪。

為了結合以上內容，他們利用 MLP 計算了一個“相機感知偏差”。這種方法會使得在優化時更加容易，而且對保證生成畫面的一致性上，起到了至關重要的作用。

實驗結果

本項研究在 RealEstate10K、Matterport3D 資料集上進行實驗。結果顯示，相較於不規定相機軌跡的模型，該方法生成影象的質量更好。

與離散相機軌跡的方法相比，該方法的效果也明顯更好。

作者還對模型的注意力情況進行了視覺化分析。結果顯示，運動軌跡位置附近貢獻的注意力更多。

在消融實驗上，結果顯示該方法在 Matterport3D 資料集上，相機感知偏差和解耦位置的嵌入，都對提高影象質量和幀與幀之間的一致性有所幫助。

兩位作者均是華人

Xuanchi Ren 為香港科技大學本科生。

他曾在微軟亞研院實習過，2021 年暑期與 Xiaolong Wang 教授有過合作。

Xiaolong Wang 是加州大學聖地亞哥分校助理教授。

他博士畢業於卡內基梅隆大學機器人專業。研究興趣有計算機視覺、機器學習和機器人等。特別自我監督學習、視訊理解、常識推理、強化學習和機器人技術等領域。

論文地址：

https://xrenaa.github.io/look-outside-room/