實錄分享 | 計算未來輕沙龍:揭祕AutoML技術(視訊 + PPT)
10 月 27 日(週六)上午,PaperWeekly 攜手清華大學計算機系推出了計算未來輕沙龍第三期線下活動——揭祕 AutoML 技術。來自中國科學技術大學、中國科學院自動化研究所和探智立方的三位嘉賓,系統而深入地分享了他們各自在自動機器學習領域的最新研究進展。
本文將獨家分享本期活動的完整視訊回顧和嘉賓課件下載。
吳開源 / 北京航空航天大學博士
吳開源,北京航空航天大學數學博士。目前是探智立方(北京)科技有限公司演算法工程師,從事人工智慧自動化平臺演算法研發。
DarwinML:基於圖進化演算法的自動機器學習
AutoML 技術可以減少模型設計過程中需要機器學習專業知識的手動操作,降低傳統行業的進入門檻,讓更多的社群開發者方便地使用人工智慧技術。AutoML 技術最近得到學術界和工業界的越來越多的關注。
在這個講座中,我們將介紹一種基於計算圖的 AutoML 技術。利用計算圖,可以靈活地表示各種複雜的 ML 模型。與 tree-based 和 stacking-based 等方法相比,基於計算圖的方法可以提供了更大的搜尋空間。我們引入了一種進化演算法來搜尋最佳的模型計算圖,並設計相應的突變和遺傳運算元。結合貝葉斯超引數優化,我們實現了機器學習的整個工作流程的自動化。在 PMLB 資料集上,與 TPOT,AutoStacker 和 AutoSklearn 相比,所提出的方法顯示了更好的效能。 我們還將展示幾個基於 DarwinML 平臺的工業使用者案例。
羅人千 / 微軟-中科大聯合培養博士生
羅人千,微軟亞洲研究院-中國科學技術大學聯合培養博士生,目前博士三年級在讀。研究方向:機器學習、深度學習、機器翻譯。曾在 NIPS 上發表論文。
NIPS 2018:神經網路結構優化
神經網路搜尋(Neural Architecture Search)是 AutoML 的一個分支,目標是針對給定的任務和資料,通過演算法自動搜尋出合適的深度神經網路結構,從而減少繁雜的人工設計過程。當前的一些搜尋方法有在離散空間裡基於強化學習、進化演算法等搜尋更優的結構。
本次報告將介紹我們今年發表在 NIPS 上的工作 Neural Architecture Optimization。本工作將神經網路結構對映到連續空間內,直接基於網路的效能這一目標進行優化,使得搜尋過程更高效、使用資源更少,搜尋得到的網路結構效能更好。
陳玉康 / 中國科學院自動化研究所碩士生
陳玉康,本科畢業於北京航空航天大學,曾赴加拿大約克大學、德國慕尼黑工業大學交流交換,先後在百度 IDL、地平線機器人實習。現為中科院自動化所模式識別方向碩士,目前研究深度學習模型優化、模型壓縮等方向。
基於進化演算法和強化學習的網路結構搜尋演算法
深度神經網路逐漸替代了人工設計的特徵,並在影象、語音、文字等領域不斷超越傳統演算法。然而,深度神經網路的興起也帶來了新的問題。良好神經網路的結構通常需要研究者在擁有豐富經驗的情況下不斷嘗試,消耗大量的時間和計算資源來設計。而這樣設計出來的網路結構通常情況下仍然存在著各種各樣的問題,比如引數量大,精度低等等。因此,自動化的神經網路結構設計逐漸成為深度學習的進一步需求。
本報告將詳細介紹我們提出的一種在進化演算法框架下結合強化學習的神經網路結構搜尋演算法。本演算法在消耗極少計算資源的情況下,在 CIFAR-10 和 ImageNet 等分類任務上取得了良好的效果。此外,我們還會討論神經網路結構搜尋方向的重點難點,以及未來的工作和趨勢。
1 / 掃碼關注
長按識別二維碼,關注PaperWeekly
2 / 回覆暗號
在PaperWeekly微信公眾號後臺
回覆暗號181027
即可獲取視訊和嘉賓課件
#投 稿 通 道#
讓你的論文被更多人看到
如何才能讓更多的優質內容以更短路徑到達讀者群體,縮短讀者尋找優質內容的成本呢? 答案就是:你不認識的人。
總有一些你不認識的人,知道你想知道的東西。PaperWeekly 或許可以成為一座橋樑,促使不同背景、不同方向的學者和學術靈感相互碰撞,迸發出更多的可能性。
PaperWeekly 鼓勵高校實驗室或個人,在我們的平臺上分享各類優質內容,可以是最新論文解讀,也可以是學習心得或技術乾貨。我們的目的只有一個,讓知識真正流動起來。
? 來稿標準:
• 稿件確係個人原創作品,來稿需註明作者個人資訊(姓名+學校/工作單位+學歷/職位+研究方向)
• 如果文章並非首發,請在投稿時提醒並附上所有已釋出連結
• PaperWeekly 預設每篇文章都是首發,均會新增“原創”標誌
? 投稿郵箱:
• 投稿郵箱:[email protected]
• 所有文章配圖,請單獨在附件中傳送
• 請留下即時聯絡方式(微信或手機),以便我們在編輯釋出時和作者溝通
?
現在,在「知乎」也能找到我們了
進入知乎首頁搜尋「PaperWeekly」
點選「關注」訂閱我們的專欄吧
關於PaperWeekly
PaperWeekly 是一個推薦、解讀、討論、報道人工智慧前沿論文成果的學術平臺。如果你研究或從事 AI 領域,歡迎在公眾號後臺點選「交流群」,小助手將把你帶入 PaperWeekly 的交流群裡。
▽ 點選 | 閱讀原文 | 獲取最新論文推薦