DeepFocus，基於AI實現更逼真的VR影象
DeepFocus是一種基於AI的渲染系統，用於在VR中渲染自然逼真的人眼聚焦效果。本文來自Facebook工程部落格，LiveVideoStack進行了翻譯。感謝阿里巴巴高階演算法專家盛驍傑提供的技術審校。
文 / Facebook工程部落格
譯 / 許海燕
審校 / 盛驍傑
原文：https://code.fb.com/virtual-reality/deepfocus/
研究內容：
一種新的基於AI的框架，用於在VR中渲染自然逼真的人眼聚焦效果。DeepFocus可與高階原型頭盔配合使用，在不同的焦距實時渲染模糊效果。例如，當有人戴著支援DeepFocus的裝置觀看附近的一個物體時，它會立即聚焦並變得清晰，而背景物體則會像在現實生活中一樣，呈現出失焦模糊效果。這種失焦模糊（也稱為視網膜模糊）對於實現VR中的真實感和深度感知非常重要。DeepFocus是第一個能夠為VR應用程式實時產生這種效果的系統。我們現在開放我們的工作和資料集，以幫助VR研究界的其他人。
它是如何運作的：
一些傳統方法，例如使用累積緩衝演算法（accumulation buffer），可以實現物理上精確的失焦模糊。但它們無法實時生成複雜，豐富的內容，因為這種處理，即使是對於最先進的晶片，要求也太高了。與此不同的是，我們使用深度學習解決了這個問題。我們開發了一種新穎的端到端卷積神經網路，一旦眼睛看到場景的不同部分，就會產生具有精確視網膜模糊的影象。該網路包括新的保持體積的交織層，以減少輸入的空間維度，同時充分保留影象細節。然後，網路的卷積層執行在相同的，降低了的空間解析度上，從而執行時間能夠明顯減少。
為什麼重要：
隨著對新型VR頭顯技術的研究不斷深入，DeepFocus將能夠模擬精確的視網膜模糊，從而產生非常逼真的視覺效果。該平臺還表明AI可以幫助解決VR渲染高度計算密集型視覺效果的挑戰。DeepFocus為克服未來新型顯示系統的實際渲染和優化限制提供了基礎。
由於DeepFocus僅依賴於標準RGB-D顏色和深度輸入，因此它幾乎適用於所有現有的VR遊戲和應用程式。它還相容VR研究界目前正在探索的所有三種頭顯型別，分別是：變焦顯示器（如Half Dome），多焦點顯示器（例如，FRL先前的工作）和光場顯示器。
詳細瞭解Facebook Reality Labs如何建立DeepFocus。
（https://www.oculus.com/blog/introducing-deepfocus-the-ai-rendering-system-powering-half-dome/）
閱讀完整的論文：
DeepFocus：用於計算顯示的學習影象合成
（https://research.fb.com/publications/deepfocus-siggraph-asia-2018/）
精品文章推薦
技術乾貨：