我黑掉路邊廣告牌，就能讓特斯拉自動駕駛系統緊急停車
特斯拉的 Autopilot 系統有多好騙？人類永遠不會認為，樹上的投影和戶外廣告中的標誌是真實的，可惜特斯拉沒這麼聰明。
這段廣告來自麥當勞，但有人在上面「動了手腳」：除了漢堡和薯條，還有一個「STOP」交通標誌一閃而過。
雖然這個標誌只出現了 0.5 秒，但卻足以誤導一輛特斯拉最新的自動輔助駕駛系統，使其下達停車命令：
路邊的電子廣告牌正在播放上述廣告，一輛特斯拉從旁邊經過時受到了廣告中一閃而過的停車標誌誤導，將車停下。
這種針對自動駕駛汽車的對抗攻擊也不是什麼新鮮事，但在以往的研究中，人們大多關注「有哪些東西是自動駕駛系統看不到的」。而這項實驗的不同之處在於，研究者關注的是「有哪些東西是人類駕駛員不會留意，但自動駕駛系統會注意的」
以色列本 · 古裡安大學的研究者已經花了兩年的時間來研究這個問題。此前，他們曾透露，特斯拉的輔助駕駛系統會被路上一閃而過的投影所誤導，將這些投影看成路標或斑馬線，從而在毫無預警的情況下將車停下。
在今年初的一項實驗中，研究人員分別在道路、樹木等物體上投射了人影、路標、道路標誌線等誤導性投影，結果搭載 HW2.5 Autopilot 的 Tesla Model X 全部中招。
特斯拉 Autopilot 將投影在路上的虛擬人當成真人，下達剎車命令。
特斯拉 Autopilot 眼中的虛擬人投影。
特斯拉 Autopilot 在地面標誌線投影的誤導下突然變道。
在上述研究的基礎上，研究人員繼續改進實驗。一項新的研究發現，在一個電子廣告牌中嵌入幾幀的路標也能達到相同的效果。他們提醒說，如果黑客入侵了聯網的廣告牌，他們就能利用這一漏洞製造交通擁堵或事故，而且幾乎不留下證據。這篇論文已被 2020 年第 27 屆 ACM 計算機和通訊安全（CCS）會議收錄。
論文地址：https://www.nassiben.com/phantoms
研究人員發現，一張只出現 0.42 秒的影象就能成功欺騙特斯拉，而一個只出現了八分之一秒的標誌騙過了以色列高階駕駛輔助系統——Mobileye。
將一個限速標誌嵌入上述廣告，時長為 125ms。
向一個安裝了 Mobileye 裝置的汽車展示潛入了限速標誌的廣告牌，汽車被成功欺騙。
為什麼自動駕駛系統總是很好騙？
當然，本 · 古裡安大學的研究者不是第一批向特斯拉自動輔助駕駛系統發起挑戰的人。早在 2016 年，南卡羅來納大學和浙江大學等機構的研究者就曾經利用無線電、發光裝置等成功地「愚弄」了特斯拉的自動輔助駕駛系統。
近日，還有一箇中國團隊發現，針對特斯拉的車道跟蹤技術，只需要在道路上貼上貼紙，就能誘導特斯拉改變車道。
本 · 古裡安大學研究者在這項研究中採用的是與二者不同的方法——至少不是物理方法。正如很多黑客此前所證明的一樣，襲擊者可以遠端侵入聯網的廣告牌。團隊推測這種「幻影攻擊」會以勒索或者惡作劇等形式發生，論文第一作者 Ben Nassi 指出：「以前的方法會留下證據，需要複雜的準備工作。而這種方法完全可以遠端進行，不需要任何專業知識。」
攻擊模型
這種攻擊有以下特點：
-
無需物理接近攻擊現場；
-
不會留下任何可識別的物理證據；
-
攻擊過程很短暫，幾乎沒有目擊證人；
-
攻擊的目標不太可能試圖阻止攻擊（通過控制車輛），因為他 / 她不會注意到任何異常情況。
面對這項研究結論，特斯拉尚未置評，但在上週的一封郵件中，特斯拉提到了一個熟悉的論點：它的 Autopilot 功能並不意味著是一個完全自動駕駛的系統。「Autopilot 提供了一種駕駛員輔助功能，僅適用於全神貫注的駕駛員，他們把手放在方向盤上，準備隨時接管。」
但研究人員 Yisroel Mirsky 不贊同這一說法：「眾所周知，人們在使用自動輔助駕駛系統時，不會始終保持 100％的注意力。因此，無論特斯拉如何表示，我們都必須努力減少這種威脅，以確保人們的安全。」
特斯拉的 Autopilot 系統主要依靠相機，而不那麼依靠雷達。而更加完備的自動駕駛汽車（比如 Waymo、Uber、Cruise）還集成了鐳射雷達，從而減少了受此類攻擊的可能性，因為鐳射雷達不在乎廣告牌上內容的變化。
對策：GhostBuster 系統
本 · 古裡安大學的研究者並未測試針對更多感測器設定的攻擊， 但他們演示了在基於攝像頭的平臺上檢測到幻影的方法。研究者開發了一個名為 "Ghostbusters" 的系統，用於驗證車載目標檢測器檢測到的物體，該系統的設計考慮了諸如深度、光線以及交通標誌周圍的環境感知等要素，並權衡所有這些要素，然後再確定道路標誌影象是否真實。
打個比方，Ghostbusters 就像是一個專家委員會集思廣益，來討論出現的「影像」是真實存在的還是虛幻的，從而進行集體決策。在研究者看來，這種方法可以更加可靠地戰勝「幻影攻擊」，同時也不會降低基於攝像頭的自動駕駛系統的速度。
GhostBuster 可以部署在現有的高階駕駛輔助系統上，無需額外的感測器，並且不需要對現有的道路基礎設施進行任何更改。GhostBuster 由四個輕量級深度 CNN 組成，通過檢查目標物體的反射光、環境、表面和深度來評估其真實性。在最終預測中，第五個模型使用四個模型的嵌入來識別「幻影」。
GhostBuster 架構圖
實驗表明，這一對策優於現有的基準方法。FPR 設定為 0 的條件下，AUC 超過 0.99，TPR 為 0.994。該模型應用於七種最新的路標檢測器時，攻擊成功率從未使用時的 99.7-81.2% 降到了 0.01%。目前，研究者已經開放了訓練後的模型、程式碼以及資料集。
專案地址：https://github.com/ymirsky/GhostBusters
本 · 古裡安大學的 Nassi 承認，Ghostbuster 系統並不完美（GitHub 頁面詳細介紹了局限性），但他仍然認為即使特斯拉的自動輔助駕駛系統存在雷達、攝像頭等多種感測器，黑客攻擊生成的影象仍會讓汽車出現判斷問題。作為車企，特斯拉自動輔助駕駛系統的原則是「better safe than sorry」，如果攝像頭髮現障礙系統就判定為障礙，反而會為黑客攻擊提供機會。但如果不這麼做——一個或幾個感測器探測到了風險，其他卻沒有探測到不算數，可能會引發其他的麻煩。「如果你的自動駕駛系統可以忽略影象攻擊，又未能得到其他感測器的正確驗證，就會有發生其他事故的風險，」Nassi 說道。「降低黑客攻擊的風險需要付出代價。」
通用旗下自動駕駛公司 Cruise 的 Charlie Miller 曾在滴滴出行進行自動駕駛安全方面的工作，他對此反駁說：基於鐳射雷達的自動駕駛實際上已經解決了這一問題。「對於系統感測器的工具總是吸引眼球的，但對於我所熟悉的系統來說這並不是一種嚴重的攻擊行為，」Miller 說道。「如在 Uber 和 Cruise 的自動駕駛車隊中。」但他仍然認為 Ben Gurion 的工作很有意義。「這是我們需要考慮並著手應對的問題。對於特斯拉來說，其輔助駕駛系統依賴於視訊輸入內容，這種系統必須保證可被信賴。」
參考連結：
https://arstechnica.com/cars/2020/01/how-a-300-projector-can-fool-teslas-autopilot/