1. 程式人生 > >深度學習超級取樣(DLSS)到底是什麼?

深度學習超級取樣(DLSS)到底是什麼?

總得來說,DLSS是一項跟以往的抗鋸齒技術完全特立獨行,具有更廣闊的技術潛力的抗鋸齒技術,通過張量單元,GeForce 20系列顯示卡能夠以相當實惠的效能損失獲得足夠好的取樣效果,而且可以預見的是,它在遊戲裡的優化空間是很大的,現在它很像是當時FXAA抗鋸齒剛出來的摸樣,也許日後它能成為相當主流的選擇呢。

如果讓你在腦海裡以進化的視野回望過去歷史的長河中游戲的畫面是如何從拙劣慢慢進化到目前的精細,相信大家都有自己的一套歷史觀,首先當然是隨著解析度的提高、硬體的圖形效能、視訊記憶體容量的發展,遊戲中能夠刻畫的模型解析度越來越高、越來越精細,而隨著發現貼圖、曲面細分技術的發展,遊戲當中的地面、牆體在更加精細的同時能夠顯示足以以假亂真的沙塵、泥團、軌跡、地毯紋理,人物的衣物能夠顯示更加立體、更加有層次的質感,再往後,我們面板在更加精細的同時能夠顯示更多的表情,貼圖的位移更加精細,甚至連毛髮都可以以假亂真。

另一方面,隨著記憶體、視訊記憶體的進步,遊戲引擎本身在邏輯方面的追求,我們開始迎來沙盒式遊戲,開始習慣在開放世界中以自己的方式改變著遊戲的面貌,改寫歷史的程序。在光影方面,在體積光、螢幕空間反射、遮蔽光的普及,再到近年愈加火熱的“基於物理”的熱潮,似乎萬物皆可“基於物理”,比如說基於物理的渲染、基於物理的著色器,如果你認真觀察的話,似乎我們現在目前所處的時代已經擁有足夠讓人滿意、甚至是讓人無慾無求的畫面,比如說《戰地1》,這似乎讓人想到段子中經常看見的那位美國專利局局長在1899年時所說的“所有可以被髮明的東西都已經被髮明完”。

這是真的嗎?當然不是,只有不負責任的反智言論才會讓你相信我們現在處在過剩的時代,尤其是在技術層面,技術是永遠無法超過慾望的,而我們能做的就是好像是魔術師使用各種各樣的Trick、Hack來騙過你的眼睛,調動你的滿足感。比如說新發布的圖靈顯示卡主要標榜的光線追蹤,就是嘗試以真實的光線路徑創造出真實的反射,讓應該黑暗的地方如同真實般黑暗、應該明亮的地方如同真實般明亮。

什麼意思?簡單的例子是《戰地》系列,當我初次玩的時候,我就感覺到一股以往從來沒有在《使命召喚》系列體驗到的真實感,這份真實感是來自團隊合作?還是來自於大規模的載具?似乎都是,但是認真對比同時期的《使命召喚》對比後,我很快發現關鍵就在於光影,比如說《戰地3》當中的黑夜地圖,明顯就感覺除畫面當中固定的少數光源外,其他地方都非常黑暗,近乎伸手不見五指,雖然會不習慣但很快你就會發現這跟現實情況如出一轍,而《使命召喚》當中的夜戰環境就更像是簡單將亮度調低,相比之下很容易跳戲。

這是《戰地3》當中的夜間巷戰

這是《使命召喚》系列的黑夜

你更喜歡哪種風格的黑夜?

鋸齒——影響畫面真實性的歷史難關

那麼是不是如果紋理足夠精細、光影足夠飽滿,我們對於畫面的夢想就已經接近實現呢?聽起來好像有些道理,但是你忘記有項基礎性的問題,就是遊戲的鋸齒。因為畫面的生成原理問題,畫面是無法完全避免鋸齒的,而在如何消除鋸齒方面,簡單來說有兩種手段,一種是通過更多的畫素取樣,生成更加精細的畫面,然後超取樣到螢幕裡,因為解析度的原因,更加精細的畫面能夠實現消除鋸齒的效果,這種抗鋸齒效果比較好,而且要實現沒有太多技術難度,但是對於效能的要求非常高,其中的代表就是簡單粗暴的超級取樣抗鋸齒(SSAA)、多重取樣抗鋸齒(MSAA)。

來自《古墓麗影:崛起》的抗鋸齒對比

來自《刺客信條:梟雄》的抗鋸齒對比

第二種是採用後處理的Trick,通過靈活的演算法來以一定程度的畫面模糊來消除鋸齒,這種抗鋸齒的特點是沒有前者“實實在在”超取樣而帶來的效果,不夠精細,如果比較早期的遊戲(2011-2014)通過比較是能夠明顯看出來更模糊的,但是它突出的優點是它的最大價值:對於效能的要求極其低,有些時候能夠做到忽略不計,網站監控,畢竟這是主要基於後處理的技術,其中的代表是FXAA、SMAA,目前的遊戲已經基本不會給你變模糊的感覺,但是線上條較多、場景複雜的環境依然容易顯得鋸齒明顯,所以部分遊戲當中能夠看到他們的結合。

來自《上古卷軸:天際》的抗鋸齒對比

而如果要說第三種的話,那就是TAA,它的本意是時間性抗鋸齒,最常見的拼寫是“Temporal anti-aliasing”,但是NVIDIA的電影化抗鋸齒TXAA的含義同樣是如此,現在具體的含義與本源雖然不清楚,但是在質量跟效果方面,TAA處在上述兩種方案之中,是比較中庸的方案。在目前的一些遊戲當中,TAA已經成為最主流的選擇,而以往很常見的MSAA都是變得罕見。

不只是光影,圖靈架構還帶來什麼?

在上述所有的抗鋸齒技術、光影技術的邏輯當中,共同的邏輯就是所有的計算效能彷彿就是一塊蛋糕,每當你開啟新的技術,蛋糕就要被切除一塊,而如果你開啟軟陰影、全域性光照、電影大全、超級取樣,那麼蛋糕當中的極大部分就會被砍掉,或者說硬體效能守恆,這意味著除非更換硬體,否則沒有辦法在不削弱一部分體驗的前提中提高你另一部分的體驗(在大多時候都是遊戲),這點就註定很多的優化軟體都是基於歪理邪說,道理很簡單,如果你不升級配置,或者不超頻,那麼你的幀率就永遠只有那麼多,你想要流暢,就註定要砍掉優先順序較低的特效,而如果你想要栩栩如生的畫面,就註定要忍受較低的幀率——這是無從辯駁的、跨畫遊戲世界的扛鼎理論。

但伴隨著圖靈架構當中新增的張量單元,在全新的GeForce 20系列顯示卡當中新增的深度學習超級取樣抗鋸齒( Deep Learning Super-Sampling)是跟以前有根本性差別的抗鋸齒,看名字似乎跟我們熟悉的SSAA超級取樣抗鋸齒有淵源,但其實並非如此,後者是相當暴力、在本地緩衝區直接生成數倍於目前解析度的影象然後超取樣精細化,因此硬體損耗極其龐大,而前者則是利用張量單元賦予的深度計算效能,讓本地生成的影象跟使用超級取樣生成的影象對比,然後通過學習、觀察其中的差距來複現後者的質量。

很重要的改變就是:顯示卡不再將所有的運算都在本地執行,是的你沒有聽過,通過圖靈架構,你能夠通過張量單元,跟位於英偉達總部的土星-V(Saturn-V)超級計算機(660節點、5280伏打核心)來依靠深度學習,來獲得四兩拔千斤的效果, 通過龐大的AI訓練,能夠以很小的代價獲得更好的取樣效果,說誇張一點,就是以FXAA抗鋸齒的效能損失,換回SSAA抗鋸齒的畫質,聽起來是不是很夢幻。

在德國的科隆遊戲展期間,NVIDIA公佈的支援深度學習共有十餘款,但是目前我們能夠親自測試的作品只有兩項Demo,其一是虛幻引擎4公佈早期時的潛行者Demo,其二是《最終幻想XV Windows Edition》。在這兩項作品當中能夠跟TAA進行對比。

本文轉自:超能網