無人車最新破綻:3D 列印障礙輕鬆騙過 9 成演算法
L4 級自動駕駛就能解放人類?
未必。
不久前,全球 31 家自動駕駛公司接到了同一支科研團隊的通知:
你們的 L4,有重大缺陷。
缺陷集中在多感測器融合方案,3D 列印的路障,能騙過 9 成以上的鐳射雷達和 ADS 系統。
所謂多感測器融合,其實融合了個寂寞。
主流 L4 方案,幾乎無一倖免。
這麼嚴重的自動駕駛演算法漏洞,是由中美聯合團隊發現,其中既有高校研究者,也有來自英偉達、百度、嬴徹科技的產業界大咖。
相關論文,不久前入選電腦保安頂會 IEEE S&P 2021。
L4 識別障礙物失敗率超九成
問題就出在了融合方案上。
在自動駕駛系統裡,實時「感知」周圍物體,是所有重要駕駛決策的最基本前提。感知模組負責實時檢測路上的障礙物,比如:周圍車輛,行人,交通錐 (雪糕筒)等等,
目前各個公司研製的高級別(L4)無人車系統,普遍採用多感測器融合的設計,即融合不同的感知源,比如鐳射雷達(LiDAR)和攝像頭(camera),從而實現準確並且高冗餘的感知。
這樣的設計,前安全冗餘的出發點是各個感知源不被同時攻擊,所以總是存在一種可能的多感測器融合演算法,依靠未被攻擊的感測器來確保安全。
這個基本的安全設計假設在一般情況下是成立的,然而研究團隊發現,出了實驗室,在現實世界中,這種多感測器融合的障礙物感知存在漏洞。
同時攻擊不同的感知源,或者攻擊單個感知源,都能使無人車無法識別障礙物並直接撞上去。
為了評估這一漏洞的嚴重性,團隊設計了 MSF-ADV 攻擊,它可以在給定的基於多感測器融合的無人車感知演算法中自動生成上述的惡意 3D 障礙。
這個系統的特點是有效性、魯棒性、隱蔽性,以及能在現實中實現。
測試結果顯示,在不同的障礙物型別和多感測器融合演算法中,攻擊實現了 >=91% 的成功率。
同時團隊還發現,系統生成的惡意 3D 障礙物,從駕駛者的角度看是隱蔽的,完全模擬現實情況;此外,對不同的被攻擊車的位置和角度都有效,平均成功率 > 95%。
L4 演算法的失敗率超過九成,還敢用嗎?
為什麼嚴重?
實驗室裡把 L4 系統“折磨”的焦頭爛額,有什麼實際意義?
當然有了。
研究團隊設計實驗的一個基本出發點就是能在現實世界中復現,實際上,團隊也這麼做了。
在安裝了鐳射雷達和攝像頭的實車測試中,系統對於 3D 列印、表面經過處理的交通錐識別失敗率高達 99.1%。
這種狀況的原因是人為處理的惡意障礙物,對於物體表面做了特殊處理,雷達回波訊號發生了變化,系統無法識別。
而所謂多冗餘的視覺系統,也沒能做出補救。
另外,在對百度 Apollo 自動駕駛的測試中,出現了 100% 識別失敗的情況。
這個漏洞帶來的危害和隱患是巨大的。首先因為它很容易在物理世界中實現和部署。
攻擊者可以利用 3D 建模構建這類障礙物,並進行 3D 列印。目前市面上有很多線上 3D 列印服務,甚至不需要購置 3D 列印裝置。
其次它可以高仿合法出現在道路上的障礙物,比如交通錐。而攻擊者可以在物體中填充水泥、金屬等等,重量輕鬆超過 100 公斤,高度迷惑、又能造成嚴重的碰撞後果。
另外,攻擊者還可以利用道路障礙物的功能設計一種僅針對無人車的攻擊:將釘子或玻璃碎片放在生成的惡意障礙物後面,這樣,人類駕駛員能夠正常識別交通錐並繞行,而無人車則會忽視交通錐然後爆胎。
在這種情況下,惡意的障礙物體可以像普通交通錐體一樣小而輕,以使其更容易 3D 列印、攜帶和部署。
多感知融合不是萬全之策
這項研究的主要價值在於讓大家意識到多感測器融合感知同樣存在安全問題。
自動駕駛研發團隊一直把多感測器融合作為對抗單個感測器攻擊的有效防禦手段,但這篇文章證明感測器“堆料”不能從根本上防禦對自動駕駛系統的攻擊。
一般車上都有的緊急剎車系統可以防禦這種攻擊嗎?
可以減少風險,但不能完全防止。
自動駕駛系統的存在意義,就在於自行處理儘可能多的安全隱患,而不是依賴緊急剎車系統。
緊急剎車系統永遠也不應該用來代替自動駕駛本身的功能。
所以唯一的方法是自動駕駛供應商們要想辦法在系統層面上解決漏洞。
目前團隊已經聯絡了 31 家自動駕駛公司,其中大部分都表示將對自家的產品重新評估。
產業界學界聯合成果
本研究作者團隊,一共有 9 名研究人員。
其中,四位同等貢獻第一作者來自加州大學爾灣分校,密西根大學安娜堡分校,亞利桑那州立大學和英偉達 Research。分別是 Ningfei Wang, Yulong Cao, Chaowei Xiao 和 Dawei Yang。
三位教授分別是 Qi Alfred Chen, Mingyan Liu, Bo Li
此外還有兩位來自產業界的研究人員,分別是百度深度學習技術與應用研究和國家工程實驗室的 Jin Fang 和嬴徹科技 CTO 楊睿剛。