1. 程式人生 > >專訪 | 清華大學朱軍:深度學習“盛行”,傳統方法何去何從?

專訪 | 清華大學朱軍:深度學習“盛行”,傳統方法何去何從?

記者 | 何永燦

朱軍博士是清華大學計算機系長聘副教授、智慧技術與系統國家重點實驗室副主任、卡內基梅隆大學兼職教授。2013年,入選IEEE Intelligent Systems的“人工智慧10大新星”(AI’s 10 to Watch)。他主要從事機器學習研究,在國際重要期刊與會議發表學術論文80餘篇。擔任國際期刊IEEE TPAMI和Artificial Intelligence的編委、國際會議ICML 2014地區聯合主席、以及ICML、NIPS等國際會議的領域主席。

圖片描述

清華大學計算機系長聘副教授 朱軍

近日,朱軍博士接受了CSDN的專訪,採訪中分享了目前最新的研究進展,深度學習與傳統機器學習如何融合發揮最大作用,成為優秀青年科學家的必備特質,以及在CCAI 2017上的分享與籌備工作。

7月22-23日,中國人工智慧大會(CCAI 2017)將於杭州國際會議中心舉行,朱軍將作為“人工智慧青年論壇”共同主席主持會議,歡迎青年學者到現場參與討論。

深度學習 VS. 傳統機器學習

CSDN:在深度學習“盛行”的大環境下,如何看待相對來說比較傳統機器學習(如支援向量機、貝葉斯學習、決策樹等)?

朱軍:這個問題可以從兩個方面來看:

  • 首先,深度學習不是萬能的,它雖然在特定任務上取得了顯著效能提升,但也面臨著很多挑戰,比如:對抗樣本的魯棒性、可解釋性、處理不完全資訊與不確定環境等,隨著應用範圍的擴大,深度學習不擅長解決的問題會逐漸明顯,未來肯定會有更好的機器學習方法出現,或許還叫“深度學習”也可能是其他的名字。
  • 其次,深度學習不是孤立的,它的進展與所謂的“傳統機器學習”是分不開的,不能把功勞都歸於“深度學習”,例如:用於保護深度神經網路避免過擬合的Dropout技術實際是一種貝葉斯學習方法,用於AlphaGO的深度神經網路需要在強化學習框架下發揮作用等。

因此,學術界和工業界都應該更客觀地看待深度學習,它的優點可以與其他機器學習方法共融,比如已經取得很多進展的貝葉斯深度學習、深度產生模型(如GAN)等。同時,它的缺點也需要從其他方向尋求改善,比如:我們最近從資訊理論的角度出發,設計了一種新的訓練準則和測試準則,可以顯著提升深度神經網路(如CNN,VGG,ResNet)對對抗樣本的魯棒性;另外,我們與清華大學的劉世霞老師合作,研製了CNNVis和DGMTracker視覺化系統,它們綜合利用了資訊視覺化與圖形學的工具,對深度模型的學習過程進行解釋,幫助除錯。

CSDN:對於“有了生成模型之後,引入深度學習就能解決統計學習的核心問題(如模型複雜度的選擇、泛化效能的理論保證、學習效率等)”的觀點你怎麼看?

朱軍:這個問題也要從兩個方面來看待:

  • 首先,生成模型通常要引入假設,在假設符合實際的情況下,這種模型是最優的,可以提升學習效率和泛化效能。
  • 其次,也是因為假設,如果假設不符合實際,這種模型可能帶來偏差。實際應用中,還需要對模型進行檢驗。

CSDN:去年參加CCAI 2016的AAAI主席Rao Kambhapati認為中國學者基本都在研究機器學習,範圍有點窄,你是否認同中國人工智慧研究存在這樣的誤區?除了機器學習之外,還有哪些領域或者哪些問題是值得我們關注的?

朱軍:機器學習受到很多關注是有一定道理的。作為實現現代人工智慧的主要技術途徑(之一),機器學習的目標是從經驗資料中不斷改善效能,它的作用在大資料時代變得更加明顯。目前,機器學習已經成為很多應用領域的首選技術方案。

但是,人工智慧的其他方向也同樣重要,而且在國內也正在受到很多的關注,比如自然語言理解、模式識別、知識工程、機器人,甚至是從腦科學尋求啟發的嘗試等。目前,可能是因為機器學習已經融入到這些方向中,才給人一種“到處都是機器學習”的感覺。但是,每種方法都有優點和缺點,學術界和工業界都需要鼓勵多樣性。比如:資料驅動的方法(如深度學習)往往需要大量的訓練資料,而知識驅動的方法(如貝葉斯方法)可以在小樣本下進行有效學習,二者具有互補的優勢,它們的有機融合是當前的一個熱點。

關於珠算平臺

CSDN:請談談你近期的研究課題和進展,以及目前關注的研究和應用情況。

朱軍:我們近期主要關注貝葉斯方法與深度學習的融合。我們的最近工作包括建模、學習演算法和平臺,在無監督、半監督等學習任務上取得了一些進展。為了有效支援這方面的研究,我們研發了珠算(http://zhusuan.readthedocs.io),它提供了一個Python程式設計庫,能夠便捷地實現貝葉斯深度學習的建模和推理。同樣在貝葉斯框架下,我們對不確定、不完全資訊環境下的決策也非常感興趣,最近也做了一些博弈論的工作,包括即將發表在ICML上的文章。另外,如上所說的,我們也在提升深度學習的魯棒性和可解釋性方面做了一些積極嘗試。

我們所做的機器學習工作,研發的演算法和平臺(如珠算)通常都是開源的,工業界可以使用。另外,我們也與一些公司合作,針對具體應用開發特定的機器學習技術。

CSDN:能否概述你的團隊基於貝葉斯深度學習構建的“珠算”有哪些創新之處?適用於哪些領域?目前有哪些比較好的應用案例?

朱軍:首先,珠算是一個概率程式設計的庫,使用者在上面可以很容易地實現貝葉斯深度學習的模型和推理,就像在TensorFlow上寫一個神經網路一樣便捷。貝葉斯深度學習是一個前沿方向,它的基本框架是概率圖模型(貝葉斯網路),融合了深度神經網路在可學習的函式擬合方面的長處。和確定性的深度神經網路(如CNN)比,它的主要優點在於可以刻畫不確定性(如噪聲、資訊不完整、隨機過程),進行推理和決策。

其次,珠算上支援的應用已經有很多,比如無監督學習、半監督學習、貝葉斯學習等。我們在珠算上已經實現了目前主要的模型,如變分自編碼器(VAE)、生成對抗網路(GAN)、主題模型、貝葉斯神經網路等,以及最好的概率推理演算法。使用者可以直接使用這些模型,也可以便捷地實現自己的模型。

最後,珠算在技術上也有很多創新,與TensorFlow很好地融合在一起。我們正在整理文章,很快將會公佈技術細節。

CSDN:“珠算”選擇構建在TensorFlow之上,其中有什麼故事可以分享?

朱軍:我們做珠算的主要目的是希望能夠通過開源社群,支援大規模貝葉斯深度學習的概率程式設計,讓這個前沿方向的科研和實踐變得更容易。

我們考察過不同的平臺,選擇TensorFlow是有一些原因的。首先,TensorFlow已經有龐大的社群,並且展示出成為通用計算圖框架的潛力。建立在TensorFlow之上有利於融入當前的生態系統。其次,TensorFlow計算圖(computation graph)支援的操作(operation)種類遠多於其他框架,能夠最大程度滿足概率程式設計的需求。最後,Tensorflow是少數支援多機多卡的分散式計算圖框架,非常適合做為大規模貝葉斯深度學習的基礎設施。

如何成為優秀的青年科學家

CSDN:成為人工智慧領域優秀的青年科學家,你認為需要具備哪些特質?

朱軍:科研是一個長期的過程,需要興趣和堅持,同時,對問題要形成自己的認知和選擇。現在是人工智慧、機器學習發展快速的時期,是好事也可能是壞事,太快的進展容易讓人失去定力,追逐一些容易出成果的“熱點”。隨大流雖然能發很多文章,但是,很難形成自己的系統性工作。因此,有些時候需要“少做”,才能選擇重要的問題集中精力去做。

CSDN:就你自己而言,理論紮實,成果豐富,能否介紹是哪些因素對你今天的成績起到了關鍵的作用,是時代機遇,個人堅持,前輩指導,同行交流,還是其他?

朱軍:有很多因素。正如前面所說的,首先是要有興趣,願意投入精力去學習和鑽研。其次要能夠堅持,遇到困難不迴避,能夠主動思考解決的辦法。只有通過思考得到的東西才是屬於自己的。最後,要善於向前輩和同行學習,別人的觀點可能是啟發思路的火種。

CSDN:你介紹過一些工作在付出很多努力之後不得不中止,所以說選擇方向很重要,這方面有哪些心得可以分享?

朱軍:越是創新性高的科研工作,它的不確定性也會越高,導致結果有時會與預期相差甚遠。但是,一個失敗的探索過程也是有價值的,它至少告訴你哪些路是不可行的。選擇了大方向以後,可以大膽嘗試,遇到困難或挫折是很正常的,不用氣餒。

CSDN:CMU博士後研究的經歷給你最大收穫是什麼?如何理解國內外環境的差異?以目前的情況來看,你對青年是否要出國深造有什麼建議?

朱軍:博士後是一個過渡階段,從科研和教學兩個方面,都為後來的清華任教打下了好的基礎。CMU有最好的學術環境、非常友好的同事和朋友,給我的幫助很大,我自己也在嘗試借鑑CMU的經驗指導學生。

目前,國內外的差異已經越來越小了,資訊的不對稱也在逐漸消失,國內的機會也很多。最近,我也很高興看到有很多CMU的朋友陸續回國工作,這和幾年前我回國時的情形完全不同,當時我們甚至開玩笑說我是先回國給大家探路的。因此,我覺得每個人可以根據自己的情況選擇是否出國深造,盲目跟隨應該會成為過去式。

CSDN:你如何理解和處理科研與教學二者的關係?

朱軍:清華非常注重教學。我認為如果能平衡好二者的關係,教學與科研是可以相輔相成的。科研做的好能夠幫助教學,對一個領域的深入理解能夠將課堂上講的知識點融合貫通,形成有機整體,而不是生硬式的拼湊。同時,教學的過程也能幫助系統地整理學科知識,加深理解,有時也能激發科研想法。

在CCAI 2017上的分享與籌備工作

CSDN:作為 CCAI 人工智慧青年論壇的共同主席,對於組織這一論壇,你的出發點是什麼?本次論壇將主要圍繞哪些內容展開?希望為聽眾解決哪些問題?

朱軍:隨著資料和計算資源的增加,以及演算法的改進,以深度學習為代表的現代人工智慧技術正在越來越多的領域中獲得應用和發展,並已經在一些特定領域取得顯著進展,包括影象識別、語音識別、電腦遊戲等。

但是,隨著應用範圍的擴充套件和複雜化,人工智慧仍然面臨著多方面的挑戰,包括魯棒性、可解釋性、安全性、隱私保護等等。

目前,人工智慧獲得顯著進展的領域通常需要大量的訓練資料,如何發展對訓練樣本更高效的人工智慧技術是很多場景下要解決的關鍵問題;另外,如何在資訊不完全、不確定的非結構化環境下進行高效學習和決策也是未來要解決的重要問題。該論壇將探討人工智慧領域的前沿進展和未來趨勢,嘉賓們將通過分享自己的觀點、與聽眾互動,解答聽眾關心的問題。

CSDN:你是從哪幾個維度來組織嘉賓陣容的?由此構建起的人工智慧青年論壇將有哪些獨特之處?

朱軍:該論壇儘量覆蓋人工智慧的多個方面。邀請的嘉賓有學術界和工業界的優秀代表,也有優秀的女性科學家代表。另外,嘉賓的背景也具有很好的代表性、多樣性。希望該論壇能夠給聽眾帶來最前沿的思想碰撞。

關於CCAI

中國人工智慧大會(CCAI),由中國人工智慧學會發起,目前已成功舉辦兩屆,是中國國內級別最高、規模最大的人工智慧大會。秉承前兩屆大會宗旨,由中國人工智慧學會、阿里巴巴集團 & 螞蟻金服主辦,CSDN、中國科學院自動化研究所承辦的第三屆中國人工智慧大會(CCAI 2017)將於 7 月 22-23 日在杭州召開。

作為中國國內高規格、規模空前的人工智慧大會,本次大會由中國科學院院士、中國人工智慧學會副理事長譚鐵牛,阿里巴巴技術委員會主席王堅,香港科技大學計算機系主任、AAAI Fellow 楊強,螞蟻金服副總裁、首席資料科學家漆遠,南京大學教授、AAAI Fellow 周志華共同甄選出在人工智慧領域本年度海內外最值得關注的學術與研發進展,匯聚了超過 40 位頂級人工智慧專家,帶來 9 場權威主題報告,以及“語言智慧與應用論壇”、“智慧金融論壇”、“人工智慧科學與藝術論壇”、“人工智慧青年論壇”4 大專題論壇,屆時將有超過 2000 位人工智慧專業人士參與。

目前,大會 8 折優惠門票正在火熱發售中,掃描下方圖片中的二維碼或直接點選連結火速搶票。

相關推薦

專訪 | 清華大學深度學習盛行傳統方法何去何從

記者 | 何永燦朱軍博士是清華大學計算機系長聘副教授、智慧技術與系統國家重點實驗室副主任、卡內基梅隆大學兼職教授。2013年,入選IEEE Intelligent Systems的“人工智慧10大新星”(AI’s 10 to Watch)。他主要從事機器學習研究

CCAI 2017 | 專訪德國語言技術領軍者 Hans Uszkoreit深度學習還不足以解決 NLP 核心問題...

文 | 胡永波7 月 22 - 23 日,由中國人工智慧學會、阿里巴巴集團 & 螞蟻金服主辦,CSDN、中國科學院自動化研究所承辦的第三屆中國人工智慧大會(CCAI 2017)將在杭州國際會議中心盛大開幕。會前,我們採訪到了大會 Keynote 嘉賓、德

15天倒計時深度學習高端講座免費聽最後200位贈教材名額!

技術講座 深度學習 tensor 深度學習是對使用多層神經網絡過程進行機器學習的統稱。目前已經被應用到圖像識別,語音識別,自然語言處理,機器翻譯等場景並取得了很好的行業應用效果。由谷歌研發的新一代深度學習工具Tensor Flow,於2015年底正式向公眾開源。Tensor Flow技術是當前最值

人工智能AI專家分享深度學習初學解惑

body 並且 對話 我想 問題 哲學 方向 智能 科學家 ---恢復內容開始--- 導語:高揚,現某創業公司數據科學家、人工智能專家。前歡聚時代資深大數據專家,有豐富的機器學習、深度學習實戰經驗。 在高揚老師此前的分享中,有不少同學問到高揚老師各種關於入門深度學習這個前沿

吳恩達深度學習作業2相關

.com image 就是 訓練數據 自己 包括 數據量 很好 我們 深度學習小知識點:(欠擬合與過擬合) 1.出現欠擬合應該怎樣解決:(欠擬合就是模型沒能很好的捕捉到數據的特征,不能很好地擬合數據) 欠擬合的情況如圖所示: a.增加特征項,出現欠擬合的原因一般是特征項不

20180813視頻筆記 深度學習基礎上篇(1)之必備基礎知識點 深度學習基礎上篇(2)神經網絡模型視頻筆記深度學習基礎上篇(3)神經網絡案例實戰 和 深度學習基礎下篇

計算 概念 人臉識別 大量 png 技巧 表現 lex github 深度學習基礎上篇(3)神經網絡案例實戰 https://www.bilibili.com/video/av27935126/?p=1 第一課:開發環境的配置 Anaconda的安裝 庫的安裝 Windo

七牛雲李朝光深度學習平臺助力億級別內容審核系統

社交 檢測 精確 圖像 智能機 人工 資源 學習 雲服務 2018 年 10 月 18 日-20 日,由極客邦科技與 InfoQ 中國主辦的 QCon 全球軟件開發大會在上海寶華萬豪酒店舉行。? 在人工智能與深度學習實踐專場(解決方案專場)中,七牛雲深度學習平臺研發負責人

TensorFlow系列專題(三)深度學習簡介

一.深度學習的發展歷程 深度學習的起源階段 深度學習的發展階段 深度學習的爆發階段 二.深度學習的應用 自然語言處理 語音識別與合成 影象領域 三.參考文獻   一.深度學習的發展歷程 作為機器學習

Yoshua Bengio首次中國演講深度學習通往人類水平AI的挑戰

11 月 7 日,Yoshua Bengio 受邀來到北京參加第二十屆「二十一世紀的計算」國際學術研討會。會上以及隨後受邀前往清華時,他給出了題為「深度學習通往人類水平 AI 的挑戰」(Challenges for Deep Learning towards Human-Level AI)的演講。機器之心在

機器學習深度學習中的遷移學習

遷移學習也是最近機器學習領域很火熱的一個方向,尤其是基於深度學習的遷移學習。遷移學習,顧名思義,就是要遷移,有句成語叫觸類旁通,模型在某個任務上學習到知識,當遇到類似任務的時候,應該可以很快的把以前任務學到知識遷移過來。這是擬人化的描述,按照目前主流的 “資料驅動” 型的學習方式,我們所

深度學習周志華機器學習西瓜書TensorFlowGoogle數學之美李航統計學習方法吳恩達深度學習筆記pdf下載

1. 機器學習入門經典,李航《統計學習方法》 2. 周志華的《機器學習》pdf 3.《數學之美》吳軍博士著pdf 4. Tensorflow 實戰Google深度學習框架.pdf 5.《TensorFlow實戰》黃文堅 高清完整PDF  6. 復旦大

自己造輪子深度學習dataloader自己實現

自己造輪子:深度學習dataloader自己實現 **摘要:**因為計算機效能的限制,所有的深度學習框架都是採用批量隨機梯度下降,所以每次計算都要讀取batch_size的資料。這裡以自己實現的方式介紹深度學習框架實現批量讀取資料的原理,不涉及具體細節和一些邏輯,只注重大體流程和原理。

[深度學習]從全卷積網路到大型卷積核深度學習的語義分割全指南

語義分割一直是計算機視覺中十分重要的領域,隨著深度學習的流行,語義分割任務也得到了大量的進步。本文首先闡釋何為語義分割,然後再從論文出發概述多種解決方案。本文由淺層模型到深度模型,簡要介紹了語義分割各種技術,雖然本文並沒有深入講解語義分割的具體實現,但本文簡要地概述了每一篇重要

機器學習8深度學習——全連線

深度模型最直觀的解釋就是多層網路,最簡單的深度模型是全連線。深度網路的每個全連線層其實質就是一個邏輯迴歸模型,每層包括線性函式與啟用函式。如圖所示: ——全連線細節展示,每一層都是,表示sigmod函式。 ——全連線模型 通過多層組合,可以得到如下的解析模型: 對於模型中的隱藏

六天搞懂“深度學習”之五深度學習

簡單地說,深度學習就是一種採用深度神經網路的機器學習技術,深度神經網路就是一種包含2個或者2個以上隱藏層的多層神經網路。 這裡再次簡單回顧一下“深度學習”的發展歷史: l 第一代神經網路——單層神經網路,在解決機器學習面臨的實際問題時,很快就暴露出它的基本侷限性,單層神經網路只

達觀資料於敬深度學習來一波受限玻爾茲曼機原理及在推薦系統中的應用

深度學習相關技術近年來在工程界可謂是風生水起,在自然語言處理、影象和視訊識別等領域得到極其廣泛的應用,並且在效果上更是碾壓傳統的機器學習。一方面相對傳統的機器學習,深度學習使用更多的資料可以進行更好的擴充套件,並且具有非常優異的自動提取抽象特徵的能力。 另外得益於GPU、SSD儲存、大

分享《TensorFlow學習指南深度學習系統構建詳解》英文PDF+原始碼+部分中文PDF

下載:https://pan.baidu.com/s/1v4B-Jp-lQClBWiCfDd1_dw 更多分享:http://blog.51cto.com/14050756 《TensorFlow學習指南:深度學習系統構建詳解》英文PDF+原始碼+部分中文PDF英文完整版PDF,242頁,帶目錄書籤,彩色

《TensorFlow學習指南深度學習系統構建詳解》英文PDF+原始碼+部分中文PDF

下載:https://pan.baidu.com/s/1v4B-Jp-lQClBWiCfDd1_dw 更多資料:https://pan.baidu.com/s/1g4hv05UZ_w92uh9NNNkCaA 《TensorFlow學習指南:深度學習系統構建詳解》英文PDF+原始碼+部分中文PDF英文完整版

分享《TensorFlow學習指南深度學習系統構建詳解》英文PDF+源代碼+部分中文PDF

size 分布式 部署 模型 -o 卷積神經網絡 ref ima 源代碼 下載:https://pan.baidu.com/s/1v4B-Jp-lQClBWiCfDd1_dw 更多分享:http://blog.51cto.com/14050756 《TensorFlow學習

DL之Yolo系列深度學習實現目標檢測之Yolo系列的論文簡介、概念理解、思路配圖等詳細攻略

DL之Yolo系列:深度學習實現目標檢測之Yolo系列的論文簡介、概念理解、思路配圖等詳細攻略     Yolo系列的論文簡介 1、Yolo V1簡介   2、Yolo V2簡介   3、Yolo V3簡介   &