華為 AR Engine 安裝量已達到 11 億次，接入應用超 2000 款
12 月 10 日訊息，今日舉行的 FBEC2021 上，華為 VR / AR 產品線總裁李騰躍表示，華為 AR Engine 安裝量已達到 11 億次，已覆蓋機型 106 款，已接入應用超 2000 款。
AR Engine 服務是一個用於在 Android 上構建增強現實應用的引擎。AR Engine 通過整合 AR 核心演算法提供了運動跟蹤、環境跟蹤、人體和人臉跟蹤等 AR 基礎能力，通過這些能力可讓您的應用實現虛擬世界與現實世界的融合，為您的應用提供全新的視覺體驗和互動方式。
藉助 AR Engine，開發者可為您的應用提供運動跟蹤、人體和人臉跟蹤、環境跟蹤等 AR 能力，助力應用融合虛擬世界與現實世界，打造全新的視覺體驗和互動方式。
目前 AR Engine 可提供三大類能力，包括運動跟蹤、環境跟蹤、人體和人臉跟蹤。
AR Engine 藉助這些能力來更好的理解現實世界，為使用者提供虛實融合的全新互動體驗：
AR Engine 的運動跟蹤能力主要通過終端裝置攝像頭標識特徵點，並跟蹤這些特徵點的移動變化，來不斷跟蹤終端裝置位置和姿態。
AR Engine 的環境跟蹤能力可以識別平面（如地面、牆壁等）和物體（如立方體、矩形、圓形等），也可估測平面周圍的光照強度。
AR Engine 的人體和人臉跟蹤讓您的終端裝置具備了對人的理解能力。通過定位人的手部位置和對特定手勢的識別，可將虛擬物體或內容特效放置在人的手上；結合深度器件，還可精確還原手部的 21 個骨骼點的運動跟蹤，做更為精細化的互動控制和特效疊加；當識別範圍擴充套件到人的全身時，可利用識別到的 23 個人體關鍵位置，實時的檢測人體的姿態，為體感和運動健康類的應用開發提供能力支撐。
運動跟蹤
持續跟蹤裝置相對於周圍環境的位置和姿態變化軌跡，建立虛擬數字世界和現實物理世界的統一幾何空間，為您的應用提供虛實融合的互動基礎平臺。目前運動跟蹤主要包括以下能力：運動跟蹤、命中檢測。
運動跟蹤
持續穩定跟蹤終端裝置的位置和姿態相對於周圍環境的變化，同時輸出周圍環境特徵的三維座標資訊。
AR Engine 主要通過終端裝置攝像頭標識特徵點，並跟蹤這些特徵點的移動變化，同時將這些點的移動變化與終端裝置慣性感測器結合，來不斷跟蹤終端裝置位置和姿態。
通過將 AR Engine 提供的裝置攝像頭的位姿與渲染 3D 內容的虛擬攝像機的位姿對齊，您可從觀察者視角渲染虛擬物體，並可疊加到攝像頭影象中，實現虛實融合。
命中檢測
AR Engine 通過命中檢測技術，將終端裝置螢幕上的興趣點對映為現實環境中的興趣點，並以興趣點為源發出一條射線連線到攝像頭所在位置，然後返回射線與平面（或特徵點）的交點。命中檢測能力使您可與虛擬物體進行互動。
環境跟蹤
跟蹤裝置周圍的光照、平面、影象、物體、環境表面等環境資訊，輔助您的應用實現虛擬物體以場景化的方式逼真地融入現實物理世界。目前環境跟蹤主要包括以下能力：光照估計、平面檢測、影象跟蹤、環境 Mesh、平面語義、3D 雲識別、目標語義。
影象跟蹤
AR Engine 提供影象識別與跟蹤的能力，檢測場景中是否存在使用者提供的影象，識別之後輸出影象的姿態。
通過影象識別與跟蹤功能，您可實現基於現實世界場景中影象（海報或封面等）的增強現實。您可提供一組參考影象，當這些影象出現在終端裝置的相機視野範圍內時，AR Engine 可為您的 AR 應用實時跟蹤影象，豐富場景理解及互動體驗。
環境 Mesh
實時計算並輸出當前畫面中的環境 Mesh 資料，可用於處理虛實遮擋等應用場景。
AR Engine 提供實時輸出環境 Mesh 能力，輸出內容包括終端裝置在空間中的位姿，當前相機視角下的三維網格，目前擁有後置深度攝像頭的機型支援，且支援的掃描環境為靜態場景。
通過環境 Mesh 能力，您可將虛擬物體放置在任意可重建的曲面上，而不再受限於水平面和垂直面。同時您可利用重建的環境 Mesh 實現虛實遮擋和碰撞檢測，使得虛擬角色能夠準確的知道當前所在的周圍三維空間情況，幫助您實現更好的沉浸式 AR 體驗。
平面語義
AR Engine 可識別當前平面的語義，目前可以識別桌面、地板、牆壁、座位、天花板、門、窗戶、床。
3D 雲識別
AR Engine 檢測場景中是否存在使用者在雲側配置的 3D 物體，當這些物體出現在終端裝置的相機視野範圍內時，雲側實時返回識別結果至終端裝置，實現基於現實世界場景中 3D 物體的增強現實。
目標語義
AR Engine 可識別物體的標籤和形狀，目前可以識別桌子、椅子，支援識別的形狀包含立方體、圓形、矩形。
2D 雲識別
AR Engine 檢測場景中是否存在使用者在雲側配置的 2D 影象，當這些影象出現在終端裝置的相機視野範圍內時，雲側實時返回識別結果至終端裝置，實現基於現實世界場景中 2D 影象的互動。
人體和人臉跟蹤
跟蹤人臉、人體、手勢等實時資訊，以輔助您的應用實現使用者與虛擬物體互動的能力。
手勢識別
AR Engine 提供多種特定手勢的識別，輸出識別到的手勢類別結果並給出手掌檢測框螢幕座標，左手和右手均可支援。當影象中出現多隻手時，只反饋單手（最清晰且置信度最高）識別結果和座標資訊。支援前後置相機切換。
通過手勢識別能力，可將虛擬物體疊加到人的手部位置，並根據不同的手勢變化來啟用某些狀態的切換，這可給您的 AR 應用提供基礎的互動功能並增加新的玩法。
手部骨骼跟蹤
識別和跟蹤 21 個手部關節點的位置和姿態，形成手部骨骼模型，並可分辨左右手。
AR Engine 提供單手關節點和骨骼識別能力，輸出手指端點、手部骨骼等手部高階特徵。當影象中出現多隻手時，只反饋單手（最清晰且置信度最高）識別結果和座標資訊。目前僅 Mate 20 Pro、Mate 20 RS 前置深度攝像頭支援。
通過手部骨骼識別能力，您可將虛擬物體疊加到更為精確的手部位置，例如手指尖、手掌心等；利用手部骨骼，可驅動虛擬手做出更為豐富和精細的動作，這可給您的 AR 應用提供增強的互動功能和難以置信的新奇玩法。
人體姿態識別
AR Engine 提供單人的身體姿態識別能力，識別六種靜態身體姿勢並輸出識別結果，支援前後攝像機切換。
您可將人體姿態識別能力運用在需要識別動作並觸發某些事件的應用場景，比如互動介面控制、遊戲操作動作識別等觸發類互動行為，是體感應用的基礎核心功能，為您的 AR 應用提供較遠距離遠端控制和協作的能力，豐富應用的互動體驗。
人體骨骼跟蹤
識別和跟蹤 23 個身體骨骼點的 2D 位置（或 15 個骨骼點的 3D 位置），支援單人和雙人。
AR Engine 提供單人和雙人的身體關節點識別能力。支援 2D 骨骼（螢幕座標系）和 3D 骨骼（與 SLAM 結合的空間座標系）的輸出，支援前後置相機切換。
通過人體骨骼識別能力，您可將虛擬物體疊加到人體的指定部位，例如左肩、右腳踝等；利用人體骨骼，可驅動虛擬人偶做出更為豐富和精細的動作，這可給您的 AR 應用提供大範圍的互動功能和難以置信的新奇玩法。
人體 Mask
AR Engine 提供單人或雙人身體輪廓的識別和跟蹤能力，實時輸出人體輪廓 Mask 資訊和對應的骨骼點資訊。
通過人體輪廓跟蹤能力，您可利用人體的輪廓 Mask 資訊對虛擬物體和場景進行遮蔽。比如在 AR 拍照時更換虛擬背景、讓虛擬玩偶躲到人身後等，都可使用 Mask 能力來實現更為自然的遮擋效果，這可進一步提升 AR 應用的真實感和觀看體驗。
人臉表情跟蹤
實時計算人臉的位姿及各表情對應的引數值，可用於人臉表情直接控制虛擬形象的表情。
AR Engine 提供人臉表情跟蹤的能力，跟蹤獲取人臉影象資訊，實時將其理解成人臉表情內容，並轉化成各種表情引數。利用表情引數可控制虛擬形象的表情展現。
AR Engine 提供的表情種類為 64 種，包含眼睛、眉毛、眼球、嘴巴、舌頭等主要臉部器官的表情動作。
人臉 Mesh
實時計算人臉的位姿及 Mesh 模型資料，Mesh 模型資料實時跟隨人臉形變和運動。
AR Engine 提供高精度人臉 Mesh 建模及跟蹤能力，在獲取人臉影象資訊後，實時建立逼真的 Mesh 模型。Mesh 模型隨著人臉的移動變形發生相應的位置和形狀變化，達到實時精確捕捉動作的效果。
AR Engine 提供 4 千多個頂點、7 千多個三角形面片的 Mesh，能精細勾勒臉部輪廓，增強體驗效果。
人臉健康檢測
實時計算人臉健康資訊，同時計算人體關鍵健康資訊（如心率等）。
AR Engine 提供人體健康檢測的能力，包括心率、呼吸率、面部健康狀態、心率波形圖訊號等健康資訊。
瞭解到，AR Engine 的優勢包括：
軟硬優化：整合模組、晶片、演算法和 HarmonyOS 系統，採用硬體加速，提供效果更好、功耗更低的增強現實能力。
差異化能力：基於華為裝置的獨特硬體，在基礎的 SLAM 定位和環境理解能力外，還提供手勢、肢體識別互動能力。
多裝置支援：支援在眾多華為裝置上整合 HUAWEI AR Engine，下載量已超過 11 億。
