圖：2022 阿里雲視覺計算私享會現場

5 月 11 日，在 “2022 阿里雲視覺計算私享會” 上，數字王國集團虛谷未來科技 CEO 唐佳嫻為大家帶來了題為《讓虛擬人 “靈” 動起來》的主題分享。以下內容根據她的演講整理而成。

2008 年 ，數字王國首次創新 “虛擬人” 技術並運用於電影《返老還童》。2012 年，我們首次將虛擬人搬上舞臺，在科契拉音樂節 “復活” 已故美國饒舌歌手 Tupac，轟動全美。此後，2014 年，我們在亞洲市場 “復活” 了鄧麗君。2018 年，我們展現了具備業內領先優勢的高擬真虛擬人 DigiDoug。

在虛擬人發展的早期，一般需要藉助虛擬人的模型，加上後期特效來完成整個虛擬人的呈現。到了 2019 年，我們實現了所見即所得、實時渲染的高畫質虛擬人

基於這個轉折點，我們更多地將此技術落地於商業應用，有與芝加哥博物館合作的復活馬丁路德金，也有國內市場的班長小艾等一系列角色。

虛谷未來是數字王國做虛擬人商業化的專業公司。在近兩三年的實際探索中，我們發現，除了高品質虛擬人的製作需要豐富的技術經驗，在虛擬人市場應用技術也非常有必要匹配相應的解決方案，從而實現虛擬人 “高品質、輕應用、低成本” 的商業落地。我們專注將虛擬人的製作、應用、運營全棧一體化發展，實現虛擬人日常高頻次、量化產出內容，提供為各品牌、機構的高性價比服務。

上圖是虛擬人靜態模型，包括卡通、2 次元、 2.5 次元及風格化、遊戲級、擬真人、寫實級、電影級 7-8 檔。

動態模式主要有以下三類：

• 動畫：依靠傳統特效，包括全 3D 以及真人實拍加部分 3D，這是傳統特效的應用方式。

• 人力動捕：由真人穿戴專業動捕裝置，通過光學捕捉和慣性捕捉來驅動模型。主要考驗 3D 模型資產的繫結以及驅動的演算法能力及經驗；另外，還有通過視訊相機捕捉真人表情、動態的方式，做模型的驅動，比較便捷，便可驅動的模型精細級別有限。

• 算力動態：不需要真人動捕操作，虛擬人的面部和身體動態、語言表達全都通過 3D 數字化操作。例如，我們與跟阿里達摩院合作的虛擬主播完全應用數字化驅動；除此之外，還有用 2D 真人照片、視訊的形式，主要解決口型和相對固定部分身體動作的動態呈現。

上圖展示了真人拍攝 + 換頭特效的方式。在日常運營中，虛擬人與複雜空間、人物同框交集的視訊需要，以及平面物料變化豐富的服裝，大多采取此種方式實現。

上圖左側展示了人穿著專業動捕服來做數字人的驅動。右側為通過相機、電腦攝像頭捕捉真人表情及動作，從而操控虛擬人，多應用於虛擬角遊戲級別以下的虛擬人。

上圖為算力驅動，也是數字王國虛谷未來與阿里達摩院合作的專案。上圖中主播的身體、表情和語言全部通過數字驅動呈現，它還接入了淘寶客服系統，能夠自動發放優惠券、回答觀眾提問。因此，虛擬主播與真人主播是非常好的搭檔。白天真人主播上線，24 點後虛擬人主播可設定自動上線直播，大大降低了人力成本，提高品效；對直播間的權重以及產出來說，是非常優秀的組合。

算力動態的 2D 建模，使用真人照片的面部合成為新的虛擬臉型及身體形象，主要集中在口脣部的動態及簡單身體動態的配合，應用成本相對低，但虛擬感會相對弱。

AI 智慧化包括 2D 真人照片、各類級別的 2D/3D 虛擬人，可以分為兩類：

• 第一類：固定的知識圖譜加上固定的聲音、表情、動作組合。知識圖譜是系統設定好的聲音、表情、動作，由虛擬人去執行設定好的內容，實現去人化 AI 動態。

• 第二類：更高級別的知識圖譜，虛擬人可以通過演算法進行學習，包括表情、動作的動態和語言內容，最終實現的效果是虛擬人所有的表現和思考、表達都通過虛擬人自我學習達成，是一個真正的 AI 智慧人。

上圖為數字王國超寫實虛擬人 Digi Doug 與真實人類進行互動，他的聲音、表情動作、表達都是通過自己學習而成。

數字王國虛谷未來一直以來，專注於高品質虛擬人的製作和運營，而業內的其他夥伴也都在各自的細分領域裡精耕細作。根據不同的應用場景，運用不同的虛擬人制作和應用模式才是最佳組合。希望業內的夥伴們一起聯合共創以及協作。

比如市場物料的平面和視訊，可以通過動畫特效與實景或全虛擬景結合，能呈現出更精質的大片效果；虛擬人直播可以通過優質的虛擬人實時驅動技術 + 中之人的表現，使虛擬人更具人性化和親和力；在自媒體運營、短視訊的場景應用，需要便利、低成本、高頻次地輸出內容，更多也是應用這種模式。而虛擬客服可以運用全 AI 的模式為客戶提供最低成本的 24 小時實時服務。

未來，虛擬人的兩個發展趨勢一定是高品質的表現力以及智慧化應用。

而高品質的標準有三：

• 第一，精細、超寫實的畫質。

• 第二，能夠高靈活度地操控表情、動作、材質等。

• 第三，實時渲染，即，實時實現前兩項高品質、高靈活度的實時驅動。這是比較大的挑戰。

數字王國虛谷未來的虛擬人，已實現了電影級虛擬人面部表情的實時靈動，包括眼球級的實時靈活追蹤。

上圖，虛擬人艾博爺爺臉上的皺紋細節、眼睫毛細緻逼真，具有超寫實質感，呈現了電影級的寫實程度，且實現了實時渲染。這些優秀的表現都源自於數字王國數字王國獨特的虛擬人實時式驅動系統。

除了表情和動作，服裝的動態演算法也至關重要。比如班長小艾的雙層紗裙，動態下能呈現非常靈動飄逸的質感，非常考驗材質的演算法。

我們於 2019 年在溫哥華 TEDTalk 首次實現了虛擬人形式演講，全程由本人實時操控虛擬人完成。

因此，數字王國的核心技術就是實時動捕驅動虛擬系統。

以上為數字王國虛谷未來的虛擬人案例。

目前虛擬人在大文娛、快消、客服類和近期快速發展的數字 NFT 領域，尤其 NFT 後來居上，虛擬人已經成為所有品牌方應用的重要形式。

讓一個虛擬人靈動起來，包括靈活的動作和靈魂，虛擬人的靈魂需要通過內容輸出來表達。因此，便捷和量產非常關鍵。應用上來看，不管是直播、視訊還是實時活動，高品質、輕量級以及低成本非常重要。如果需要花費很長時間和高製作成本才能輸出一條視訊，不利於虛擬 IP 的打造，不能滿足日常化應用的實際需求。

目前我們的系統已經能夠實現一臺專業電腦，加一個技術人員和一箇中之人，即可完成整場直播的表現輸出，完美解決自媒體和品牌方的需求。

虛擬人還可以應用到產品包裝、活動釋出、演出等場景，通過 AR 技術實現互動、通過線下全息類裝置實現虛擬人沉浸式展示和服務，通過 XR 的方式來呈現的線上 / 線下發佈會、綜藝表演也非常精彩。

當前我們正處於 web 3.0 的初始階段，它更是一個品牌數字營銷的升級關鍵期。因此，品牌擁有一個虛擬人或個人擁有一個數字分身是大勢所趨，因為這是進入元宇宙、新數字化營銷的基礎。

希望在不久的將來，通過業內各夥伴的合作，每個品牌能夠快速擁有專屬的高品質品牌虛擬人，每個人都能擁有自己的個人數字分身。

點選這裡，檢視本次視覺計算私享會的回放視訊。