CNCC2018中國計算機大會：人工智慧與資訊保安分論壇
本論壇是2018中國計算機大會（CNCC）的分論壇之一，涉及人工智慧與資訊保安交叉應用前沿領域，包括惡意文字識別過濾、神經網路攻擊、對抗樣本生成與模型遷移、白盒與黑盒攻防策略，以及移動裝置AI應用模型洩密等人工智慧應用的資訊保安挑戰。
作者：張子豪（同濟大學在讀研究生）
人臉識別、自動駕駛、刷臉支付、抓捕逃犯、美顏直播……人工智慧與實體經濟深度結合，徹底改變了我們的生活。神經網路和深度學習貌似強大無比，值得信賴。殊不知，人工智慧是最聰明的，卻也是最笨的，其實只要略施小計就能誤導最先進的深度學習模型指鹿為馬。未來的人工智慧應用還面臨逃逸攻擊、模型推斷攻擊、拒絕服務攻擊、感測器攻擊、移動端模型破解等多種資訊保安挑戰。在2018年中國計算機大會（CNCC）“人工智慧與資訊保安”分論壇，AI安全攻防領域的頂尖學者齊聚一堂，共話資訊保安的“芯”挑戰。
時間：2018年10月25日 下午13:30-15:20
地點：杭州國際博覽中心會議區 會議室 206
分論壇主席為浙江大學電氣工程學院徐文淵教授，共同主席為復旦大學軟體學院副院長韓偉力教授，分享嘉賓可謂大牛雲集：360智慧安全研究院負責人李康、NIPS對抗樣本攻防競賽清華三連冠團隊指導老師朱軍、中國科學院大學教授陳愷、阿里巴巴安全研究員陸全博士。
報告一 李康：人工智慧系統實現中的安全風險
第一位報告人是360智慧安全研究院負責人李康。分享題目是“人工智慧系統實現中的安全風險”。本次報告通過豐富的攻防案例展示了人工智慧應用中的安全風險及應對方法。
嘉賓簡介：李康，360智慧安全研究院負責人。清華計算機本科，耶魯大學法學碩士，俄勒岡研究院計算機博士。主要研究系統與網路安全。李博士是網路安全對抗賽CTF最早的實踐者，他是XCTF聯賽的聯合發起人，並擔任清華大學藍蓮花戰隊的啟蒙老師。
逃逸攻擊與對抗樣本
早在2015年，“生成對抗神經網路GAN之父”Ian Goodfellow在ICLR會議上展示了攻擊神經網路欺騙成功的案例，在原版大熊貓圖片中加入肉眼難以發現的干擾，生成對抗樣本。就可以讓Google訓練的神經網路誤認為它99.3%是長臂猿。
除此之外，人工智慧系統還會面對模型推斷攻擊、拒絕服務攻擊、感測器攻擊等多種資訊保安挑戰。
對抗樣本對預處理方式的敏感性
其實，如果你把那張經過攻擊篡改之後的大熊貓圖片稍微放大或縮小，或者直接截一部分圖，然後放到其它公開的影象識別模型上執行（比如百度識圖），識別結果依舊是大熊貓。這意味著對抗樣本僅對指定的圖片和攻擊模型生效，對諸如區域截圖、放大縮小之類的預處理過程是非常敏感的。也就是說，如果還想欺騙更多其它的深度學習模型，就要通過逆推破解不同深度學習模型的圖片預處理方法，找到發生影象識別錯誤的那種預處理方法，然後應用在原圖片上。
人工智慧系統中的潛在威脅不僅僅來自對抗樣本攻擊。現實中的人工智慧系統會面臨軟體實現、資料流處理、模型供應鏈、本地部署應用、使用者端破解等方面的各種挑戰。
人工智慧與資訊保安的下一個熱點：深度學習模型引數被竊取的風險和資料安全。
隨著邊緣計算和智慧移動終端時代的到來，在移動終端部署本地AI應用越來越廣泛，從iPhone X的刷臉解鎖，到華為、高通部署手機端的AI晶片。在移動終端本地執行AI應用，可有效解決延遲、傳輸頻寬、使用者隱私洩露等問題，但同時也帶來本地深度學習模型的資料安全問題。經過簡單的逆推，就可以破解很多本地的AI應用，甚至可以知道其中的Caffe模型的基本引數，有些開發者會採用AES加密把模型封裝起來，但殊不知在AES金鑰也得儲存在本地檔案中。有時甚至根據追蹤AI應用對記憶體的訪問情況，就可以判斷出這個模型的神經網路結構。所以AI開發者在向移動端和嵌入式裝置中部署AI應用時，一定要事先請教安全團隊，確保模型資料安全。
報告二 朱軍：深度學習中的對抗攻擊與防守
第二位報告人是清華大學計算機學院朱軍教授。分享題目是“深度學習中的對抗攻擊與防守”。本次報告通過2017NIPS對抗樣本攻防競賽案例講述了對抗樣本的生成策略、白盒與黑盒攻擊、攻防模型的遷移及優化。
嘉賓簡介：清華大學計算機系教授，清華大學人工智慧研究院院長助理。清華計算機本科、博士，卡耐基梅隆大學博士後。主要從事機器學習基礎理論演算法及應用研究。入選國家“萬人計劃”青年拔尖人才。
2017，Ian Goodfellow 等研究者牽頭組織了NIPS的 Adversarial Attacks and Defences（對抗攻擊防禦）競賽，清華大學博士生董胤蓬、廖方舟、龐天宇及指導老師朱軍、胡曉林、李建民、蘇航組成的團隊在競賽中的全部三個專案中得到冠軍。
更多清華參賽隊演算法優化模型介紹，請看本文作者張子豪撰寫的另一篇人類能看得懂的科普文：神仙打架看不懂？用人話解讀NIPS神經網路攻防賽清華三連冠團隊模型演算法。這篇文章詳細介紹了基本演算法FGSM、攻防技巧、比賽規則、清華參賽隊的模型可遷移性優化策略、降噪優化演算法。
白盒攻擊與黑盒攻擊
機器學習系統的逃逸攻擊，它能繞過深度學習的判別並生成欺騙結果。攻擊者在原圖上構造的修改被稱為“對抗樣本”。逃逸攻擊可分為白盒攻擊和黑盒攻擊。白盒攻擊是在已經獲取機器學習模型內部的所有資訊和引數上進行攻擊，令損失函式最大，直接計算得到對抗樣本；黑盒攻擊則是在神經網路結構為黑箱時，僅通過模型的輸入和輸出，逆推生成對抗樣本。
對抗樣本不是僅在最後預測階段產生誤導，而是從特徵提取過程開始就產生誤導，下圖展示了第147號神經元分別在正常深度學習模型和對抗樣本中的關注區域。在正常模型中，第147號神經元重點關注小鳥的頭部資訊。在對抗樣本中，第147號神經元則完全被誤導了，關注的區域雜亂無章。同時也說明，對抗樣本不是根據語義生成的，它並不智慧。而且，正如前面所講述的，對抗樣本對圖片預處理過程非常敏感，任何區域截圖、放大縮小、更換模型都很容易讓對抗樣本失效。
降噪優化策略
對抗樣本會在原圖上增加肉眼很難發現的干擾，但依舊能看得出來和原圖的區別：
一個很自然的想法就是，通過畫素級別的去噪，把干擾樣本圖片還原回原來的圖片，但經過試驗，發現成功率很低。
NA表示不進行去噪的空白對照組；DAE表示Denoising Autoencoder神經網路去噪；DUNET表示Denosing Additive U-Net神經網路去噪。Clean表示對未經過對抗樣本干擾的乾淨圖片進行攻擊。前排數字表示去噪之後剩餘的噪音。後排百分數表示去噪防守成功率。
試驗發現：
1、相比NA空白對照組，Denoising Autoencoder神經網路反而增加了噪音。
2、相比NA空白對照組，DUNET雖然去除了大部分噪音，卻一點兒也沒能提高防守成功率。
為什麼會這樣呢？由下圖可以看出，隨著計算的逐層推進，對抗樣本的噪音在逐層放大（藍線）。而去噪（紅線）僅僅部分縮短了對抗樣本與空白組（綠線）的距離，大部分噪音依舊存在。很自然的想法就是將剩餘噪音作為損失函式，然後找到它的最小值。
改進之後的HGD降噪方法具有良好的遷移性，僅使用了750張訓練圖片，就達到了很好的防守效果。在最終的比賽中，清華團隊提交了四個降噪模型，在三個組別中都獲得冠軍。
報告三 陳愷：人工智慧時代下的安全攻防
第三位報告人是中國科學院資訊工程研究院陳愷。分享題目是“人工智慧時代下的安全攻防”。本次報告講述了人工智慧在網路安全工作中的應用，並通過對歌曲進行干擾生成錯誤語音指令進而發動攻擊的例子，講述了人工智慧演算法的脆弱性與未來攻防發展趨勢。
嘉賓簡介：中國科學院資訊工程研究所研究員，中國科學院大學教授、博士生導師。資訊保安國家重點實驗室副主任，《Cybersecurity》編輯部主任。國家“萬人計劃”青年拔尖人才、北京市“科技新星”。2010年獲中國科學院研究生博士學位，美國賓州州立大學博士後。中國保密協會隱私保護專業委員會委員，中國計算機學會系統軟體專委會委員。主要研究領域包括軟體與系統安全、人工智慧安全。在IEEE S&P、USENIX Security、ACM CSS、ICSE、ASE等發表論文70餘篇；曾主持和參加國家重點研發計劃、國家自然科學基金、863計劃等國家部委課題40餘項。
在報告中，陳愷教授展示了他們的最新成果：對汽車音響播放的歌曲進行干擾編碼，在人耳聽起來仍然是原曲的情況下就可以讓微信的語音輸入法獲得錯誤的“Open the door”指令。但歌曲很容易受外界噪音干擾。本文作者張子豪提出可以使用樹莓派微型電腦發射FM調頻廣播播放干擾之後的歌曲，直接干擾汽車收音機，陳愷博士高度讚賞了這個建議並表示他們已經嘗試過這個方法，但決定干擾成功率的關鍵還是在於過濾外界噪音干擾。
報告四 陸全：基於AI的文字分析技術在安全的應用及研究
第四位報告人是阿里巴巴安全部門的陸全。分享題目是“基於AI的文字分析技術在安全的應用及研究”。本次報告通過文字分析和處理技術在阿里安全的幾個場景的應用，包括敏感文字資訊識別，情報輿情感知，欺詐簡訊檢測、WAF攻擊檢測等。並著重以欺詐簡訊檢測為例，結合實際中的三個主要挑戰：藉助人工標註提升覆蓋率，構造訓練樣本提升準確率，應對變異和對抗提高魯棒性，來介紹我們的技術和成果。
嘉賓簡介：美國南加州大學博士，負責集團系統和資料安全領域的開發。有十餘年將大資料統計機器學習，資料探勘和深度學習成功引用的業界經驗，曾在雅虎和Explain帶領研發團隊。並在頂級國際會議上發表論文二十餘篇，擁有多項國際專利。
在報告中，陸全教授展示瞭如何識別欺詐簡訊中的惡意微訊號推廣，比如“加薇”、“+V芯”、“珈 威❤”。阿里安全部門通過人工標註大大提高了檢測覆蓋率，並針對訓練樣本優化了模型的可遷移性和魯棒性。
現場觀眾提問
如何針對小資訊量資料的生成對抗樣本
- 問：講座中提到的神經網路攻擊，都是針對圖片、語音這些包含豐富冗餘資訊量資料的。那麼對於小資訊量的資料，比如二維碼圖片，能否生成對抗樣本呢？
- 答：這個問題提的很好。圖片、語音資料恰恰是因為包含豐富的冗餘資訊，在加入對抗樣本之後才不會被人察覺，而二維碼這種資料稍加篡改就會被肉眼察覺。而且在安全領域，已經有許多成熟的針對二維碼的攻擊方案，最原始的就是有人把摩拜單車上的二維碼撕下來換成自己的收款碼，或者把別人的付款碼列印下來用於消費。
能否通過汙染訓練資料集進行攻擊
- 問：能否直接引入大量汙染的資料，針對深度學習訓練用的資料集進行攻擊？
- 答：可以。這是釜底抽薪的攻擊，也叫“後門攻擊”。Machine Learning和Machine Teaching從來不是割裂的。在防禦角度，需要全方位“縱深防禦”，同時這也是“連續學習”的一部分。