1. 程式人生 > 其它 >【公開課】李沐大佬:深度學習論文精讀

【公開課】李沐大佬:深度學習論文精讀

李沐老師是我比較敬佩的深度學習“大神”,之前我在公眾號推薦過他的兩篇文章。

李沐大神新作:用梯度下降來優化人生

亞馬遜首席科學家李沐博士:工作五年反思

也推薦過他的著作:全球175所大學教材:《動手學深度學習》(中文版下載)

可能還有同學不知道李沐,這裡簡單介紹一下他的履歷。

他是矽谷華人技術人才,深度學習框架MXNet作者之一,也是《動手學深度學習》作者之一。

2004年,李沐從計算機系ACM班畢業。上海交通大學ACM班是以培養電腦科學家而聞名的“特色班”,自大學起李沐就開啟了他的開掛人生。

  • 微軟亞洲研究院實習,2007 年夏
  • 香港科技大學研究助理,2009 - 2010
  • 百度高階研究員, 2011.4 - 2012.8
  • Google Research 實習生,2013 年夏
  • CMU 讀博士,2012-2017
  • 百度首席架構師,2014.4-2015.12
  • 亞馬遜首席科學家,2017 年 3 月至今

大佬百忙之中還佈道技術,今天就再向大家推薦他的最新系列視訊:深度學習論文精讀

地址:
https://space.bilibili.com/1567748478/channel/seriesdetail?sid=398820

目前已更新了五節:

  • 如何讀論文
  • 9年後重讀深度學習奠基作之一:AlexNet
  • AlexNet 論文逐段精讀
  • 撐起計算機視覺半邊天的 ResNet
  • ResNet 論文逐段精讀

後續將更新更多深度學習裡有影響力論文:
1、Adam。深度學習裡最常用的優化演算法之一。
2、EfficientNet。通過架構搜尋得到的CNN,現在常被使用。
3、BERT。讓深度學習在NLP上熱度超過了CV。
4、GPT3。朝著zero-shot learning邁了一大步。當然也得講一講GPT/GPT-2
5、GAN。生成類模型中的開創性工作。
6、CLIP。圖片分類從此不用標資料。
7、Non-deep networks。21年10月的新工作,讓不深的網路也能在ImageNet刷到SOTA。
8、為什麼超大的模型泛化性不錯
9、GNN介紹。Distill上最近一篇寫得很好的介紹性文章。
10、AlphaGo。讓強化學習出圈的一系列工作。

感興趣的同學,學起來!