專訪英特爾AIPG全球研究負責人Casimir Wierzynski：物理學、隱私和大腦將根本性塑造AI...
記者|琥珀
出品| AI 科技大本營
在 11 月 14 日至 15 日在北京召開的英特爾人工智慧大會（AIDC）上，英特爾人工智慧產品事業部（AIPG）全球研究負責人 Casimir Wierzynski 發表了主題為《人工智慧研究——物理學、隱私和大腦》的演講。他表示，物理學、隱私和大腦，將根本性地塑造人工智慧的未來。
“AI 的一個重大挑戰是確保我們釋放能力的同時，不違反我們的價值觀。其中一個重要的價值觀就是隱私。”Casimir Wierzynski 反覆強調隱私在 AI 發展中的重要性。他認為，機器學習和隱私之間存在矛盾，機器學習總想要讀更多的資料，而隱私天然地想要去隱藏資料。Casimir Wierzynski 的團隊正致力於使同態加密及其他私有的機器學習技術變得更加強大和實用。
目前，Casimir Wierzynski 專門負責識別英特爾下一代 AI 系統當中的重要技術，並著力孵化它們。與英特爾 lab 或以產品為導向的團隊不同的是，他關注的更多是與 AI 有關的前沿的或者前瞻性的、高階的研究領域。除了進行研究、出版文章外，通常情況下他還會與學術界的科學家進行合作，和英特爾的多個業務組進行合作來測試一些大的想法。
演講結束後，Casimir Wierzynski 接受了AI科技大本營的專訪。以下是演講的主要內容：
我想跟大家分享三個廣泛的話題，現在英特爾正在去努力，並且我們相信這三個方面將會根本性的改變整個人工智慧方面的領域，也就是物理學、隱私和大腦。
在英特爾，我們非常在意材料物理學，並進行了材料物理學方面的很多研究。例如在室溫下可以做磁鐵的有三種元素，鐵、鈷、鎳。今年我的同事做出了一個根本性的發現，就是還有第四個元素，就是釕。這是在《自然通訊》雜誌上今年早些時候發表的。但是物理學和 AI 之間有什麼樣的關係，AI 的物理學是什麼意思呢？
這個答案對於 AI 的計算力有一個指數型的需求，這張圖來自 OpenAI 的報告，他們測量了達到這個關鍵的 AI 研究里程碑所需要的浮點運算的數量，這是對數尺度的，所以直線表明了是指數型的。
他們發現對於 AI 計算的需求可以說是在過去六年當中每 3.5 個月會發生翻倍，在六年當中達到了大概 30萬倍。所以 AI 計算在這樣的速度上來擴充套件，對於整個的演算法、架構以及所有的硬體、基片來講，對產業來講就是一個巨大的挑戰。這就是物理學能夠幫忙的地方。
關鍵並不是要把物理學當作一個限制，而是一種工具。Richard Feynman 在 1959 年就指出了，而且今天也是正確的，就是在納米級別的創新方面還有大量的空間。在我的團隊當中，我們研究的一個技術就是怎麼樣去利用製造晶片的第三維度，這是一個很有希望的想法，在電晶體上一層一層去疊加更多的層數，導致垂直連線的高密度，叫“整體的 3D 積體電路”。
通過這些裝置以 3D 的方式來進行密集的連線，你可以去減少這種訊號傳輸所需要經過的線纜的長度，會減少計算的耗能，並且幫助你擴大在一個單位面積內的電晶體數量，這個裝置是在去年斯坦福大學所完成的，並在《自然》雜誌上刊登。
我的團隊正在和主要作者 Subhashish Mitra 教授共同探討，看如何把它用在 AI 工作負載上。如果未來進一步展望，我們調查新的裝置基於新的材料和新的物理學的新裝置。大部分今天的計算都是基於這種布林邏輯，涉及到開和關，我們使用的電晶體是基於大家熟悉的理念。但是還有一些物質的其他物理特性是可以利用的，比如說控制開關傳輸訊號和去讀出這些訊號。
另外一個非常重要的 AI 問題，就是隱私問題。AI 的一個挑戰是確保我們要釋放能力的同時，不違反我們的價值觀。在機器學習和隱私之間存在一些矛盾，機器學習總想要讀更多的資料，而隱私天然的想要去隱藏資料，我的團隊正在研究一些方式，使用密碼學來解決這種矛盾，然後使得我們可以有更多的 AI 新的用例。假設一個使用者有一個非常私密的資料，他希望能夠在雲上對這個資料進行處理，如果他能夠去將這些資料來進行加密，並且把他們去發到雲上進行處理，而不需要分享這個金鑰的話，而且可以得到一個加密的回傳，會是非常理想的。這種能力來進行加密資料的計算，叫做所謂的“同態加密”。
2009 年，由於加密技術取得了突破性進展，同態加密在理論上已變得可行，但是它在實踐中幾乎不可行，因為它需要進行太多的計算。
自那之後，同態方案得到了巨大改進，尤其是在執行深度學習中使用的各種計算方面，如矩陣乘法。
我的團隊正在致力於使同態加密及其他私有的機器學習技術變得更加強大和實用。儘管這是開發者大會，但我要提及的一點是，我們也在努力使非專業人員能夠輕鬆使用這些加密工具。你可以將同態加密視為一種用於執行模型的不同硬體目標。它是一臺接受加密輸入並輸出加密答案的機器。
因此，我們針對英特爾 nGraph 編譯器建立了後端，使開發人員能夠使用 TensorFlow 或 PyTorch 等框架構建模型，然後對這些模型進行編譯，讓它們可以在使用加密輸入的情況下執行。我們的目標是在今年年底之前，將這款工具作為開源工具提供。
到目前為止，我們已經談到了如何能夠去把 AI 人工智慧結合起來，把計算進行加密，我們這個業務組在不斷地推動 AI 的前沿，通過了解人的大腦是如何發揮貢獻的，因為我們作為神經生物科學家，所興奮得不光是能夠更好的開發人工智慧的系統，還有解密全人類有史以來最大的神祕，也就是大腦機理。
我們知道，大腦是終極的人工智慧機器，深度神經網路就是由大腦所啟發，實際上就是大腦的不同的並行的一些電路板，正如神經網路的模型生物的這些神經元，也是這樣排列，它們是線性的輸入、非線性的輸出。
深度學習在過去十多年取得了巨大的成功，這也是為什麼今天我們能夠在這裡探討這個話題，但仍然深度學習還有一些麻煩的地方，比如現在的模型很難從幾個小時的資料就能進行推測。對於目前深度學習的系統來說是很難實現的，可能需要幾百個樣本，而人類可以非常高效地進行推測、或特徵尋找。
非常高興得能夠與大家分享我的工作成果。謝謝聆聽。
以下為AI科技大本營專訪實錄，並做了不改變願意的整理：
AI科技大本營：首先請您簡單介紹一下在加入英特爾一年多做了哪些工作，包括技術方面以及人員方面的成果和進展。
Casimir Wierzynski：我負責英特爾人工智慧產品部門的研發團隊建設工作，目標是確保我所組建的研究團隊的人員，每個人能將百分之百的時間投入到與人工智慧研究的工作上來。英特爾公司一直以來開展大量與人工智慧有關的研究工作。但我認為非常有必要專門找到這樣一群人，打造一個無論是從時間的分配上和職責的分配上都是百分之百投入到 AI 相關研究的團隊。
AI科技大本營：剛才您在臺上也提到了用密碼學去解決機器學習與隱私之間挑戰的問題，這個解決方案是如何想到的？此外，提到今年年底會開放同態加密的工具，提供給開發人員，但是它有一個問題，比如消耗大量的計算時間，能否具體講講英特爾在這方面是如何解決的？
Casimir Wierzynski：首先我要澄清一下，實際上同態加密這個想法也不算是我想到的，最早是 2009 年 Craig Gentry 在斯坦福攻讀博士的論文 (A Fully Homomorphic Encryption Scheme, Gentry, 2009) 裡所寫到。我之前經常拜訪麻省理工，拜訪教授，就他們最新的成果進行演講，其中有一位教授提到了同態加密。我們確實知道同態加密這個方法的計算強度確實非常大，但當時那位教授向我們介紹了他的論文，基於他的論文我們發現計算的強度已經實現了大規模的下降。我當時就有這種感覺，我覺得這個技術現在已經非常接近可以用在商業化的規模上。
當然，具體你說的某一項特定技術會在哪個時間點上騰飛、起飛，這個現在很難說，但至少我有這樣一種感覺，同態加密已經發展到即將可能進行商業化大規模使用的時間點上。
您的第二個問題主要是問到英特爾在特定的領域裡會做哪些工作，讓它採納起來的難度會有所降低。我覺得主要是分成三個部分：
第一，英特爾內部有很多專門從事密碼學的研究人員，他們會開發出非常好的演算法來支援技術；
第二，我們也有非常大量的、優秀的軟體工程技術方面的人才，他們可以使得整個庫變得更可獲得、更好用，這也是今天我在大會演講當中主要提到的；
第三，實際上也是英特爾一貫的做法，如果英特爾認為這是一個非常重要的工作，或者具有關鍵性意義的工作，我們會進行相應的投入，會有一個比較明確的路線圖來指導這個工作。
最後我還是想再補充一下，之前在大會上主要談的是同態加密的做法，它的主要目的是用來協調在機器學習和隱私方面的關係。但是我想說的是，同態加密只是在解決技術挑戰方面的工具之一，換而言之，現在還有其他的工具，我們也在考慮、在看，因此同態加密並不是唯一的銀子彈。
AI科技大本營：看到您更加關注的是機器學習方面的技術發展，最近谷歌 DeepMind 的 BigGAN 在影象生成方面取得了非常大的進展，您這項成果發展是如何看待的？與谷歌是如何展開合作的？
Casimir Wierzynski：首先要說明的是，谷歌和英特爾的工程技術人員在很多的話題和領域當中都開展了很多合作。在深度學習網路出現之後，企業需要來評估這事是否是將來會做大，並且可能是一個很大的突破。
關於您提到的問題，劉茵茵（AIPG資料科學部主任）所帶領的團隊是做深度學習的相關研究，和我的團隊相比，她的團隊是更著重在深度學習上。而且我跟劉茵茵的辦公室很近，我倆時不時就具體的演算法問題來溝通和交流。AI 產品集團部門在技術上內部的溝通和交流是挺頻繁的，不過具體說到演算法和深度學習還是劉茵茵的團隊管得多一些。
AI科技大本營：您對於在 NIPS 這樣機器學習頂會上發表論文是如何看待的？是否把它看作一個主要的工作成果或是KPI的展示？
Casimir Wierzynski：我們確實是非常鼓勵英特爾的研究人員積極參與頂級學術會議，並發表論文。如果是和神經學方面研究有關的，那就可以是 NIPS。我們的研究發表論文也不侷限於特定的領域，任何的話題都可能。如果是涉及到半導體或者晶片，我們可能會選擇像《自然》或者是《科學》這樣的期刊去發表。密碼學那邊也有專門的學術會議，也有專門的期刊。我們還是非常鼓勵員工能夠積極的參與這些學術期刊文章的發表和學術會議，這樣可以來展示他們的研究成果。
AI科技大本營：雲端晶片和終端晶片在各自的應用場景都非常有用，包括雲端更多的是用於深度學習訓練和推測，終端晶片更多的應用在醫療、視訊監控等物聯網場景。英特爾目前傾向於哪個方向，基於怎樣的戰略和技術方面的考量？
Casimir Wierzynski：我嘗試著用一種風趣的方法來回答你的問題。我前面也講過，我們做的研究工作主要是放眼長遠，所以我們的地平線是在很遠的地方，如此之遠，以至於可以同時涵蓋雲端的研究和邊緣或者終端的研究，就好像我很幸運，不需要在我的兩個孩子當中挑出我更愛誰多一點。
BDTC 2018
◆
精彩紛呈
◆
2018 年12月6-8 日，由中國計算機學會主辦，CCF 大資料專家委員會承辦，CSDN、中科天璣資料科技股份有限公司協辦的 2018 中國大資料技術大會（BDTC 2018），將在北京新雲南皇冠假日酒店隆重舉行。
除 Keynote 外，主辦方精心策劃了 13 場專題技術和行業論壇，涵蓋大資料分析與生態系統、深度學習、推薦系統、大資料安全與政策、大資料可視分析、精準醫療大資料、資料科學與大資料技術教育、資料庫、金融大資料、知識圖譜、工業大資料、區塊鏈、交通與旅遊大資料等主題。
屆時，近百位技術專家及行業領袖將齊聚於此，聚焦大資料技術如何促進數字經濟迅速發展，關注大資料新應用，思辨通達，深入解析熱門技術在行業中的實踐和落地。緊貼時代脈搏，走近資料前沿。
推薦閱讀