AR隔空書寫演示

隨著技術的發展和超視訊化的時代驅動，互動的形式日漸豐富。從螢幕點觸，到語音互動，人臉、指紋、聲紋，再到近年流行的AR和VR……人類早在語言出現之前便習慣使用肢體和手勢這種近乎本能的溝通方式來進行交流，作為最基礎和自然的互動方式，手勢互動的應用場景越來越多。

當前，市面上大部分視訊應用的手勢互動邏輯，主要是通過某個具體手勢觸發預置的單個特效，這種較為簡單的互動不僅不能發揮出人類靈活手掌的潛力，在終端上的識別效果也有較大的提升空間。

尤其是受疫情影響以及在音視訊會議和協同辦公需求巨大的今天，使用實體白板畫圖寫字進行遠端溝通和協作非常困難。

雖然市面上有類似虛擬白板的產品，但是這類產品主要還是依賴於滑鼠等裝置來進行輸入，我們可以利用手勢的天然優勢，代替滑鼠、鍵盤、觸屏等互動方式，實現AR隔空書寫，在辦公、生活、娛樂場景發揮其巨大價值。

AR隔空書寫，打破虛擬白板壁壘

如何通過AR隔空書寫來實現一個完善的虛擬白板？

最直接的想法是把寫字的內容渲染在螢幕上，例如最近一個較火的開源專案“Yoha”便是通過這個想法實現了效果，但這也面臨著因為攝像頭視角有限導致字無法寫得很小和書寫內容有限等問題。

另一種方案，可以通過先書寫一部分內容，將其縮小後，再寫另一部分內容。這種解決方案看似可行，卻面臨著排版困難以及前後內容連續性差等問題。

阿里雲視訊雲美顏特效SDK（以下簡稱“美效SDK”）的AR隔空書寫能力，通過把AR隔空書寫的視窗懸浮在虛擬白板上，使得AR隔空書寫視窗可以自由的放大、縮小、平移，這樣使用者就可以自由控制寫字的大小和位置，對書寫內容的排版也會更具操控性。

對於攝像頭捕捉的每一幀影象的邊緣進行裁剪，然後再懸浮在白板上，使用者可以放大或縮小ROI視窗，來實現對書寫內容的大小和精細度的控制。

使用者還可以通過移動AR隔空書寫視窗來控制寫字的位置。

當使用者的手勢（虛擬筆尖）移到AR視窗邊緣附近的時候，AR視窗將會自動朝對應的方向移動（參考DOTA、LOL、魔獸爭霸等遊戲移動視窗）。

參考動圖，這種身體不需要移動的操作方式不僅符合人的書寫使用習慣，也使得移動視窗的便利性和使用舒適性大大提高。

阿里雲視訊雲將該AR隔空書寫能力作為“隱藏黑科技”整合在釘釘的音視訊會議硬體產品中，該能力可以幫助參會者在遠端會議中通過隔空書寫或是畫圖來助力溝通。在近期的釘釘釋出會上，阿里雲視訊雲也對該能力進行了互動展示。

釘釘2022線上釋出會，AR隔空書寫現場演示

豐富虛擬特效，讓視訊互動更趣意

AR隔空書寫還可以和粒子特效結合，展現出雪花、火焰、水滴、花瓣、煙霧等各類豐富炫酷的特效，為使用者進行個性創作提供發揮空間，讓視訊互動更美感、更有趣。

AR隔空書寫能力近日上線於阿里雲視訊雲的美效SDK，這是基於自研的面部關鍵點位技術，支援畫面美化、人像美顏、摳像製作、貼紙美妝、動作識別、智趣互動、摳像處理等多種個性化的定製美效互動服務。

美效SDK具備多維度優勢：
效果好：功能全面、一鍵組合與逐項DIY
包體小：基礎美顏功能僅需0.78M
效能優：Android最低支援4.3系統，iOS系統最低支援到iOS-8系統，Mac支援最新M1
接入快速可定製：獨立組裝拆解、按需引數級調整定製

基於一系列的應用優勢，美效SDK適用於直播、拍攝、會議、電商等多種業務場景，完美平衡了效果美化與效能開銷的問題，助力視訊互動更豐富智趣。

可以預見的是，手勢互動是未來人機互動必不可少的一部分，一個輕盈無邊界的沉浸式虛擬世界，不可能完全依賴“手持裝置”和實體的“觸點互動”，用技術解放雙手才是虛擬與現實無縫連結的正確開啟方式。

視訊化場景的互動瓶頸已初顯，阿里雲視訊雲基於美效SDK的AR隔空書寫能力的研發與應用，為超視訊化時代的智趣新互動提供了更多可能，推動視訊互動走向更遠。

想體驗AR隔空書寫Demo或者交流的讀者歡迎釘釘搜尋群號：34197869，或掃下方二維碼加入

「視訊雲技術」你最值得關注的音視訊技術公眾號，每週推送來自阿里雲一線的實踐技術文章，在這裡與音視訊領域一流工程師交流切磋。公眾號後臺回覆【技術】可加入阿里雲視訊雲產品技術交流群，和業內大咖一起探討音視訊技術，獲取更多行業最新資訊。