李林 若樸 發自 凹非寺
量子位 出品 | 公眾號 QbitAI

古人云，隔牆有耳。

但想要做到“隔牆有眼”，就像二娃那樣，能穿牆透視，似乎是種遙不可及的本領。

如今。MIT CSAIL的一群科學家。就用AI構建了一雙透視眼。

你在牆後的一舉一動，它就都能看見。這項研究，作為spotlight論文發表在CVPR 2018上。

吶，效果就是這樣。



識別的方式，就是把人體簡略成一套主要的骨架結構。不同部位。用不同的顏色標示，左右手、左右腿都不一樣。

即便你走到牆後。人眼看不到，但AI一樣能準確判斷你的位置與姿勢。基本算是開了一個透視外掛。

牆都擋不住這套系統。窗簾就更不在話下了。



黑燈瞎火的地方，也全然不是問題。



上面這個演示。我們還能夠看到，這個AI認出了兩個人。

沒錯，這個AI還能同一時候識別多人的姿態。

並且即便是多人同一時候交叉行進的複雜場景，這個AI也能順利搞定。



看到這，你可能會說：除了穿牆之外，其它的演示，並不算炸裂啊。這種人體姿態的識別。已經早有人做了。不是麼？

沒錯。

但這個AI，事實上是個眼瞎的“盲AI”！

穿牆透視也好，多人識別也好，依靠的全都不是視覺訊號，實際上。根本沒給AI視覺訊號。

那，這個AI靠什麼識別人體？

無線電波。

它用的無線電波有點相似大家常見的WiFi訊號，可是功率更弱一些。利用無線訊號在人身上的反射。來“看清”人體。

因此，這個AI的名字就叫RF-Pose，從射頻到姿勢的意思。

來，感受下這兩張圖。看看你能不能腦補出人體姿勢。



透視眼修煉之道

我們前面提到過，RF-Pose識別人類動作時。依據的並非視訊。而是無線電波的反射。

而想要訓練這樣一個AI，面臨著一個嚴重困難：

根本沒有標註好的資料集可用。

更要命的是，就算你糾集一批人類，想群策群力標註一個這種資料集。也全然不可行——無線電訊號那個微弱粗糙的解析度，我們人類根本認不出。

這個困難，在訓練過程中無法迴避。於是，他們用上了“跨模態監督”方法，在無線電波接收器旁邊加了個攝像頭，同步記錄無線電波和視訊，然後從視訊流中提取人體姿勢資訊，用作無線電波的監督訊號。

他們在MIT校園裡收集了50小時的資料集，男女老少都不放過，場景包括辦公室、食堂、教師、報告廳、樓梯、走廊等等50餘處。

在這個資料集裡。最熱鬧的資料幀包括14個人。最少的當然是全然沒有人。

也就是說，資料集包括兩大部分：影象上能看到人的、和人被遮擋了的。

MIT團隊從影象上能看到人的部分選取70用於訓練，30%留作測試用，而人被遮擋的資料全都用來測試。

70%能看見人的資料，拿來訓練了一個跨模態“師生網路”。

在這個網路中，老師以影象為輸入，預測出人體關鍵點的置信圖，學生以射頻訊號為輸入，以和老師最接近為目標，學著預測人體關鍵點置信圖。

從置信圖再生成出我們終於看到的骨架模型，RF-Pose的透視技能就算修煉完畢了。

無線新方向

這篇論文的作者。包括Mingmin Zhao、Tianhong Li、Mohammad Abu、Alsheikh Yonglong、Tian Hang Zhao、Antonio Torralba、Dina Katabi等。

當中一作Mingmin Zhao（趙明民）。本科畢業於北京大學，眼下在MIT讀博。去年夏天。趙明民發表過還有一篇AI+無線訊號的論文。主要用這個技術來監測人類的睡眠情況。論文發表在ICML 2017上。

論文傳送門：http://sleep.csail.mit.edu/

此前，他還研究過使用無線訊號識別表情。

傳送門：http://eqradio.csail.mit.edu/

你看。這事實上是一整套技術。

不用安裝攝像頭。僅僅須要通過相似WiFi的無線訊號，如今就能知道你在哪，有什麼動作，是什麼姿勢。情緒怎麼樣。心跳快不快以及睡眠質量怎麼樣……等等。

當然這套技術並非要窺探你的隱私。

而是有更廣泛的應用場景。比如，幫忙監測家裡的老人或者醫院的病人。這套系統有幾個優點。

首先，不用攝像頭，省卻了非常多隱私的擔憂。

其次。這個技術能比較準確的識別出不同的人。並且追蹤行動、姿態、情緒等相關資料。

再次。監測能夠穿牆而過，不受干擾。

以及。被監測物件能夠不必佩戴隨身不論什麼其它裝置，輕鬆高效。

總之這是個非常有意思的方向。當然這一方向的研究，還有大量的工作須要完畢。比方，這個團隊會繼續尋求捕捉更細微的動作，比如老人的手部顫抖等。當然透視監測的準確率，也須要進一步提升。

而趙明民之所以一直研究這個方向。事實上源於他的導師：Dina Katabi。

Katabi教授一直在研究無線技術。她是CSAIL實驗室NETMIT研究組負責人。也是MIT無線網路和移動計算中心的主任。

上面提到的全部研究。事實上都沒有細講無線訊號的問題。

實際上，Katabi團隊在2015年發表的一篇論文裡，對這件事有更為具體的描寫敘述。論文題目：Capturing the Human Figure Through a Wall。

在這篇論文裡。披露了當時那套無線裝置的一些細節。

吶。就是這樣。

研究傳送門

專案主頁：
http://rfpose.csail.mit.edu/

論文：

Through-Wall Human Pose Estimation Using Radio Signals
Mingmin Zhao, Tianhong Li, Mohammad Abu Alsheikh, Yonglong Tian, Hang Zhao, Antonio Torralba, Dina Katabi
Computer Vision and Pattern Recognition (CVPR), 2018
http://openaccess.thecvf.com/content_cvpr_2018/papers/Zhao_Through-Wall_Human_Pose_CVPR_2018_paper.pdf

說明一下，眼下這個AI的監測效果，在沒有遮擋的情況下。準確率62.4%。須要穿牆透視的時候。它的準確率是58.1%。

先別太苛刻，這個AI還是個寶寶嘛。就算是看著視訊來識別姿勢，如今AI的準確率也並沒有非常高。2017年曠視在MS COCO人體關鍵點檢測奪冠的成績。也才73%而已。

判斷出人體姿勢之後。AI還能進行一些其它工作：比方依據這個骨架結構來認人。

給AI兩秒鐘的骨架活動片段。它認人的準確率就能達到83%。

— 完 —

活動報名

誠摯招聘

量子位正在招募編輯/記者，工作地點在北京中關村。

期待有才氣、有熱情的同學增加我們！相關細節，請在量子位公眾號(QbitAI)對話介面，回覆“招聘”兩個字。

量子位 QbitAI · 頭條號簽約作者

վ'ᴗ' ի 追蹤AI技術和產品新動態