前段時間CES的報道滿天飛，網上逛了幾圈，感覺料最猛的還數Intel：老樹開新花，推出14nm的第五代酷睿處理器；在智慧可穿戴裝置及物聯網上雄起；RealSense實感技術開啟未來人機互動模式。之前總聽老哥講，滑鼠鍵盤這些傳統互動模式統治了二三十年，目前跟蹤識別爆火且技術趨於成熟，新的互動革命快要打響了。看RealSense這陣勢，估計不出三五年新的互動便會普及開來。

英特爾早在2012年左右就著重研發實感技術，當時叫Perceptual Computing，即感知計算，並開放英特爾® 感知計算軟體開發套件 2013 版（Intel® Perceptual Computing Software Development Kit, SDK 2013），設重獎舉辦因特爾感知計算挑戰賽，吸引眾多開發者參與。隨著技術完善與成熟，2014年初更名為RealSense，即實感技術，而後釋出了新的

基於此技術的應用在IDF2014及今年CES上大放異彩。

Intel® RealSense™ SDK的架構：SDK core,I/O module和Capability modules組成整個SDK堆疊的基礎。SDK core管理I/O module和Capability modules同時組織並管理管線的執行。I/O module捕獲裝置的輸入資料而後傳送資料到輸出裝置或Capability modules。Capability modules也叫algorithm modules，主要包括各種模式檢測和識別演算法（面部跟蹤和檢測、手部跟蹤、手勢識別、語音識別及合成等）。

各功能：手部和手指跟蹤、面部分析、語音識別、背景移除、目標跟蹤、增強現實、3D掃描。

1. 手

SDK將手抽象出骨架，並從背景中剝離出來。允許在照相機的0.2–1.2米範圍內跟蹤手上的22個點的位置和方向，如圖。左右手是區分的，因而可以雙手進行互動。

手勢識別：包括靜態手勢識別和動態手勢識別。SDK中內嵌了一系列手勢如下圖。你可以用內嵌的這些手勢組合出新的手勢，也可以根據手骨架上那22個點位置創建出新的手勢。

動態手勢識別：靜態手勢可以單獨使用，當然也可以組合使用形成一定的動作。組合時要求開始的手勢和結束的手勢都已在手勢識別系統中註冊。

SDK給出了一系列動作如下：

2．臉

臉部檢測：SDK提供精確的3D臉部檢測和跟蹤，且可以同時跟蹤4張人臉。每張人臉用長方形來標記，你可以獲得長方形的XYZ座標。與2D跟蹤相比，3D頭部跟蹤在頭部運動方面更給力。

臉部識別：SDK提供識別特定人臉的能力。特定ID對應註冊的特定人臉，並將此人臉的資訊儲存到人臉庫的記憶體中。如果同張人臉被註冊多次，那這張人臉被正確識別的機會將會增大。當沒被識別的人臉出現時，識別模組將與資料庫中的可能資料進行比對，如果找到匹配則返回此人臉對應的ID。

使用者不用擔心自己的頭像被儲存，因為儲存的只是演算法從影象中提取的特徵的集合。

頭的運動：SDK提供頭部運動的3D方向：俯仰、左右轉動、左右偏轉，如圖。

所以可以輕鬆獲得使用者頭部指向哪裡。也可以以此做粗略的眼神跟蹤，下一版將會推出更精細的眼神跟蹤。

標記點跟蹤：SDK提供臉部78個標記點的跟蹤以提高臉部識別和分析的精確度。在影象和座標系中給出這78個標記點的位置。臉部標記點跟蹤支援頭像建立、臉部動畫、擬態及簡單的表情識別。可以直接用這些點或這些點的相對位置來作分析。不管你有沒有劉海、戴不戴眼鏡，這種標記點跟蹤都支援。但使用者頭部在螢幕30度內效果最好。

面部表情識別：SDK也包括更高階的面部表情識別。這使得你建立卡通頭像更簡單。每一種表情有1到100的強度等級使得你做的動畫更平滑自然。SDK中表情：

情感識別：SDK中的情感識別演算法用的是2D RGB資料。情感模組是獨立的模組，並非臉部模組的一部分。為保障情感識別正常工作，影象中的人臉至少要有48×48個畫素。此演算法並不侷限於RGB資料，灰度資料同樣可行。利用SDK，你可以檢測並估計以下六種原始情感的強度。

頭像控制：SDK通過結合面部表情及78個標記點提供簡單的頭像控制功能。SDK提供動畫角色的示例程式碼，使你的應用可以適應任何臉型並把使用者頭像動畫化。

應用場景：

3. 語音

主要包括語音命令和控制、聽寫、從文字轉譯成語音等功能。只支援英語，語音識別對成年人效果最好。

語音識別：分為命令模式和聽寫模式。命令模式需提前設定命令列表，特定命令繫結特定動作。聽寫模式內建了一個通用的詞典，包括50k個常用單詞。如果你覺得不夠用，也可以自己新增詞典中沒有的單詞。聽寫模式限時30秒。命令和聽寫模式不可同時開啟。

語音分析：SDK也可以根據文字動態的生成語音，由女聲讀出。

4. 背景移除

可以實時的移除背景並替換成新的背景。

應用場景：

5. 目標跟蹤

Metaio*3D目標跟蹤模組提供基於光學的跟蹤技術，可以跟蹤視訊序列或場景中的目標物。Metaio工具箱可以訓練、建立並編輯3D模型，這些模型可以傳給各種目標檢測及跟蹤演算法。

跟蹤技術支援平面的2D目標跟蹤、基於特徵的3D跟蹤、CAD模型的基於邊界的3D跟蹤及即時3D跟蹤。

6. 增強現實

用音訊、視訊、影象或其他資訊來新增、增強或補充英特爾實感技術遊戲的內容。

7. 三維掃描和列印

可以掃描、編輯、列印和分享三維物體，並與 3D Systems展開合作。

目前因特爾已經與騰訊合作創立遊戲創新實驗室，推進實感技術，並打造了《軒轅傳奇》。與京東合作建立“京東因特爾聯合創新實驗室”，推出虛擬試衣、3D物品展示等，使實感技術落地電商平臺。同時因特爾自己也在不斷推出自己的實感技術產品。這不前兩天在北京推出其全新的第五代酷睿處理器家族，搭載此處理器的多款產品還配備了英特爾實感技術，看來這項技術很快就會遍地開花。

只要你的處理器是第四代及四代以後英特爾® 酷睿™處理器，作業系統滿足Microsoft* Windows 8.1（僅限64 bit），再外購一個英特爾® RealSense™ 3D 攝像頭就可以下載SDK玩起來。估計不久聯想、戴爾、華碩、巨集基、惠普等等搭載第五代酷睿處理器並內嵌因特爾3D攝像頭的超極本、二合一及一體機裝置就會上市，那時玩起來會更爽。

補充一點自己的實際體會：

1.基於結構光方案的深度相機，受光線影響很大，下午太陽光照進來，深度資料殘缺嚴重，這個就是所謂的鐳射散斑受強光淹沒掉了。

2.手勢識別中，靜態手勢，手型識別效果不錯。同時，對著深度相機方向的手勢運動，識別效果也不錯。但左右方向的運動手勢，效果很差。主要是視場角小，深度資料殘缺嚴重。

3.SDK可支援多個裝置同時連結 。採用一臺裝置，一個執行緒來管理維護。執行緒內部，SDK所有功能都支援。也就是多個裝置互不影響。

4.手勢識別，在20~55cm範圍內可用。其實，整體來看，只能是小範圍運動情況了。

5.手勢，採用22點骨架模型。

6.SR300是 F200的升級版。SR300近距應用，實際範圍 大概在20~150cm。R200是遠距離應用，大概是40~280cm.兩者都支援RGB([email protected]、[email protected]),D([email protected]),但RGB 16:9，D 4:3，蛋疼的一點是，R200 4th CPU， SR300 6th CPU....