1. 程式人生 > 其它 >阿里雲視訊雲,用技術普惠打造平民化“虛擬人”

阿里雲視訊雲,用技術普惠打造平民化“虛擬人”

近日,國內首個超寫實數字人 AYAYI 宣佈入職阿里,成為天貓超級品牌日的數字主理人,二者將共同開啟元宇宙的營銷世界。在未來她將與天貓解鎖多個身份,如 NFT 藝術家、數字策展人、潮牌主理人、頂流數字人等等。

提到虛擬數字人,大家第一時間想到就是 2012 年誕生的洛天依。她的出現補了國內空白的虛擬偶像市場。雖然她最初只擁有聲音與立繪,但九年來,粉絲們不斷為她寫歌作曲、繪製插畫、製作 MMD,這些同人創作,一點點填充著最初的空白。相比於真人養成偶像,依託於 UGC 內容長大的虛擬偶像,更像是一場純粹的養成式造星。而在 2021 年初以洛天依為代表的、次元特徵的虛擬偶像開始在春晚大放光彩,這意味著國家級平臺對次元文化的尊重與認可,也是虛擬與現實產生的一次有益互動。


洛天依亮相春晚節目少兒歌舞《聽我說》

iiMedia Research (艾媒諮詢) 資料顯示,2020 年中國虛擬偶像核心產業規模為 34.6 億元,同比增長 70.3%,預計 2021 年將達到 62.2 億元;另一方面,隨著商業價值被不斷髮掘,越來越多產業與虛擬偶像聯絡在一起,虛擬偶像帶動產業規模 2020 年為 645.6 億元,預計 2021 年為 1074.9 億元。
而在國外的短視訊平臺上,虛擬數字人也是大行其道。一位名叫 Lil Miquela 的虛擬偶像,其人設是一個 19 歲混血女孩,有著可愛雀斑,長期定居在洛杉磯,擁有西班牙裔、巴西裔和美國血統的虛擬模特及音樂人。據央視網 2021 年 01 月 30 日的報道,Lil Miquela 在 2019 年的收入摺合人民幣大約為 7600 萬。

什麼是虛擬數字人?

“虛擬數字人”一詞最早源於 1989 年美國國立醫學圖書館發起的“可視人計劃”(Visible Human Project, YHP)。2001 年, 國內以“中國數字化虛擬人體的科技問題”為主題的香山 科學會議第 174 次學術討論會提出了“數字化虛擬人體”的概 念。這些“虛擬數字人”主要是指人體結構的視覺化,以三維形式顯示人體解剖結構的大小、形狀、位置及器官間的相互空間關係,即利用人體資訊,實現人體解剖結構的數字化。主要應用於醫療領域的人體解剖教學、臨床診療等。

不同於上述醫療領域的數字化人體,目前網路上圍繞元宇宙所討論的虛擬數字人(以下簡稱“數字人”)是指具有數字化外形的虛擬人物。與具備實體的機器人不同,虛擬數字人依賴顯示裝置存在。虛擬數字人宜具備以下三方面特徵:一是擁有人的外觀,具有特定的相貌、性別和性格等人物特徵;二是擁有人的行為,具有用語言、面部表情和肢體動作表達的能力;三 是擁有人的思想,具有識別外界環境、並能與人交流互動的能力。

近年來,得益於深度學習演算法的突破,數字人的製作過程變成更加簡單,虛擬數字人開始進入大眾的視野,應用在各行各業,例如已經出現了娛樂型數字人(如虛擬主播、 虛擬偶像)、教育型數字人(如虛擬教師)、助手型數字人 (如虛擬客服、虛擬導遊、智慧助手)、影視數字人(如替 身演員或虛擬演員)等。不同外形、不同功能的虛擬數字人賦能影視、傳媒、遊戲、金融、文旅等領域,根據需求為使用者提供定製化服務。


虛擬數字人產業檢視 資料來源:《2020 年虛擬數字人發展白皮書 》

在實現技術方面,虛擬數字人系統一般情況下由人物形象、語音生成、動畫生成、音視訊 合成顯示、互動等 5 個模組構成。其中最為基礎的是人物形象技術,根據人物圖形資源的維度,可分為 2D 和 3D 兩大類,從外形上又可分為卡通、擬人、寫實、超寫實等風格。


資料來源:《2020 年虛擬數字人發展白皮書 》

阿里雲卡通智繪:打造身邊的虛擬偶像

因為虛擬人的人物形象構建方面具有一定的技術門檻,所以對普通人來說,虛擬人似乎仍停留在偶像階段,只能“遠觀”。但來自阿里雲視訊雲的團隊卻通過優化的演算法技術,讓普通人也能有機會創造屬於自己的卡通形象,在虛擬世界裡塑造“平民偶像”,在2021年的雲棲大會開發者展區,阿里雲就展示了最新技術——卡通智繪專案,吸引了近2000名體驗者,成為了大會爆款。這項技術採用了隱變數對映的人臉風格化技術方案,通過機器學習演算法可以把拍攝者本來的面目特徵和目標訓練風格做深度融合,重建面部的形狀,它既符合使用者臉部特徵,又具有卡通的風格化,還可以跟蹤使用者的面部姿態和豐富的表情生成實時動畫。


而這所有的技術全靠 AI 完成,對使用者而言只需通過上傳一張自拍照就能自動生成符合使用者人臉特點的虛擬人。

阿里雲卡通智繪可以對輸入人像圖片,發掘其顯著特徵(如眼睛大小,鼻型等),自動化生成具有個人特色的虛擬形象(即風格化後的效果)。所謂人臉風格化,就是將真實的人臉頭像轉換為特定的風格頭像,最常見的包括卡通風格、動漫風格、油畫風格,如下圖所示:


阿里雲視訊雲卡通智繪效果圖

得益於 AI 技術的高速發展,虛擬人已經不再是觸不可及的事物,在可預見的未來,由卡通智繪建立虛擬人將作為虛擬主播、虛擬老師、虛擬客服、虛擬導遊的數字化身,越來越頻繁的出現在各行各業。

參考資料:中國人工智慧產業發展聯盟總體組和中關村數智人工智慧產業聯盟數字人工作委員,《2020 年虛擬數字人發展白皮書 》

「視訊雲技術」你最值得關注的音視訊技術公眾號,每週推送來自阿里雲一線的實踐技術文章,在這裡與音視訊領域一流工程師交流切磋。公眾號後臺回覆【技術】可加入阿里雲視訊雲產品技術交流群,和業內大咖一起探討音視訊技術,獲取更多行業最新資訊。