單影象三維重建、2D到3D風格遷移和3D DeepDream
阿新 • • 發佈:2020-04-25
作者:Longway Date:2020-04-25 來源:單影象三維重建、2D到3D風格遷移和3D DeepDream專案網址:http://hiroharu-kato.com/projects_en/neural_renderer.html 程式碼網址:https://github.com/hiroharu-kato/neural_renderer 論文名稱:Neural 3D Mesh Renderer(CVPR2018) 概述 對於二維影象背後的三維世界建模,哪一種三維表示最合適?現在常見的表示方法有點雲、體素和網格,其中多邊形網格具有良好的緊緻性和幾何性質。但是使用神經網路直接由多邊形網格生成影象比較困難,因為光柵化的過程阻止了反向傳播。因此,作者提出了一個近似的梯度柵格化,使渲染整合到神經網路。使用這個渲染器,可以執行帶有輪廓影象監督的單影象三維網格重建,並且該系統比現有的基於體素的方法更好。此外,作者還首次在2D監督下執行基於梯度的3D網格編輯操作,如2D到3D風格遷移和3D DeepDream。 簡介 從二維影象理解三維世界是計算機視覺的基本問題之一。人類在大腦中使用視網膜上的影象來模擬3D世界,機器也可以通過在2D影象背後顯式地建模3D世界來更智慧地工作。從3D世界生成影象的過程叫做渲染,這在計算機視覺裡面非常重要。哪種3D表示方法是最適合建模3D世界?通常有體素、點雲和多邊形網格。體素難以生成高質量的體素,因為他們是在三維空間有規律地進行取樣,並且記憶效率比較低。點雲存在紋理和照明難以應用的問題,因為點雲沒有表面。多邊形網格由一系列頂點和表面組成,因此它們是可伸縮的,並且有面,進而作者採用了這種方式。 使用網格這種表示方式有兩個好處,第一個是表示三維模型時,需要的引數少,模型和資料集也相應比較小。第二個就是它適合幾何變換。物件的旋轉、平移和縮放由頂點上的簡單操作表示。這篇文章提出了兩個應用,如下圖所示。第一個是單影象三維網格重建,第二個是基於梯度的3D網格編輯,包括風格遷移和DeepDream。