1. 程式人生 > 資訊 >亞馬遜首席科學家李沐B站走紅,連博導們都在追更,還帶你逐段讀懂論文

亞馬遜首席科學家李沐B站走紅,連博導們都在追更,還帶你逐段讀懂論文

什麼樣的B站Up 主,讓 AI 專業的導師們紛紛推薦給學生看,甚至導師自己也追更?

又是什麼樣的 Up 主,讓網友直呼“簡直是做慈善”。

沒錯,他就是亞馬遜資深首席科學家、AI 大牛李沐。

這個學期,李沐在斯坦福大學開了一門《實用機器學習》的新課,除了斯坦福學生能線上下學到以外,課程的錄影、PPT 也都在網上免費公開。

不過B站上能看到的版本卻不是課程錄影,而是李沐回到家裡再專門用中文重新錄製的!

課程錄製的地點,是他在家裡車庫搭建的攝影棚。而錄製的時間,或許是帶娃的空檔,或許是深夜。

來聽課的網友紛紛表示,“簡直是把飯送到嘴邊”、“還有什麼理由不學?”。

正課之外,李沐最近還新“開坑”了經典論文精讀系列。

講了入門必學的 AlexNet 和 ResNet 論文後,李沐發起投票問問大家還想聽哪篇論文。

Transformer 高票當選,李沐火速更新,逐段精讀長達一個半小時。

李沐給論文精讀系列開的 GitHub 倉庫也在不到一週時間狂攬超過 1500 星,還上了熱榜。

目前 GitHub 頁面裡列舉了多篇近年有影響力的論文候選,GAN、BERT、GPT-3 一個都少不了。

還有幾篇李沐覺得值得講的新論文,如 10 月剛剛在 ImageNet 上刷到 SOTA 的“不深的網路”。

如果你還想聽老師講解哪篇論文,李沐說“歡迎大家在討論區裡提供(點)建議(歌)”。

於是討論區的畫風就成了這樣。

一門正課再加上穿插的論文精讀,李沐幾乎成了一位日更 Up 主,粉絲數也在短短几個月時間突破 10 萬。

網友甚至喊話:建議沐哥直接帶B站研究生!

那麼,他的課究竟有什麼魅力?為什麼如此受歡迎?

他講課突出一個動手

論文精讀這個系列開始於一次投票。

本來李沐問的是大家想聽“三分鐘講論文,知道是什麼就行”還是“深入講解,弄懂每一句話”。

沒想到有很多網友留言“其實更希望瞭解到底該怎麼樣讀一篇論文”。

李沐覺得這個想法很好,第二天就錄了一期《如何讀論文》作為系列開篇,把自己多年的心得總結成實用的流程。

李沐讀論文的方法,是讀三遍:

第一遍,讀完標題、摘要後直接跳到結論部分,然後可以“稍微瞄一眼”主要的圖和表。

這一遍只需要花十幾分鍾,目的是瞭解這篇論文大概講了什麼、質量如何,以便快速判斷這篇論文是否適合自己。

第二遍,如果決定繼續讀下去,就可以從頭到尾粗讀一遍,重點關注論文使用的方法和之前有何不同。

這一遍也不用關注太多細節,公式等細節可以先忽略掉,判斷一下了解到這裡就可以了,還是真的需要仔細精讀。

另外如果感覺一篇論文值得仔細讀但太難了,李沐分享的技巧是先去讀它引用的之前的研究,再回頭讀這一篇門檻會低一些。

第三遍,也是最後一遍精讀,要弄懂論文中每一句話在說什麼,李沐推薦讀的時候“腦補”一下如果是自己在做這個工作可以怎麼做。

這樣讀完後好像是自己動手做了一遍似的,即使合上文章也能回憶起許多細節。

三遍閱讀花費的時間逐漸增加,中途如果發現其實不需要再讀下去了就隨時停止以節省時間。

用上這個方法,就能從海量論文中選出那些自己真正需要去詳細瞭解的。

如果到這裡你還沒學會,那還可以去看李沐老師實際動手演示用這個方法讀 AlexNet、RestNet 的視訊。

除了學習讀論文的方法和論文字身的內容,這些視訊中還能聽到從今天的視角看來這些經典論文哪些部分已經過時了,哪些能作為精髓保留下來。

另外還有李沐自己在行業多年的經歷和體會,像 AlexNet 論文作者的工作報告李沐當年可是在現場聽的。

d2l 是《動手學深度學習》課程的英文 Diving Into Deep Learning 的縮寫。

讀論文系列裡先講方法再實際動手演示的風格,在李沐別的課程中也有體現。

李沐在B站上傳的第 1 門課就叫《動手學深度學習 v2》,也是他的書《動手學深度學習》的配套課程,這本書已被全球 100 多所大學選為教材。

這門課的核心理念為“深度學習的關鍵是動手”,每節課都提供一個可執行的 Jupyter 筆記本。

最新的《實用機器學習》關注的是機器學習在工業場景的應用,也為作業提供了 Jupyter 筆記本和資料集供大家上手操作。

聽這樣的課程,大家表示“如沐春風”。對講課的李沐,大家叫他一聲“沐神”。

你的線上導師

而沐神除了課講得精彩,課前課後大家提的各種需求,他也都是儘可能滿足。

1 月註冊賬號,3 月正式開課,8 月底《動手深度學習 v2》更新完結,沒歇幾天又開了新課《斯坦福 21 秋季:實用機器學習中文版》。

如果要評選B站學習區肝帝,李沐老師必須擁有提名!

接近日更的長期高產,讓粉絲紛紛留言“老師不用這麼拼”、“別累著了”。

除了發視訊,動態區也常常能看到李沐和大家互動。

最近大佬的日常是晒娃,10 月份已經發了 3 次和娃有關的動態了。

大家覺得這可賺大了,好像看到大佬的朋友圈一樣。李沐卻說朋友圈裡已經把朋友都晒沒了。

一來一往之間粉絲們和李沐熟悉了起來,總是忍不住皮一把。

李沐晒了家裡後院種的玫瑰,被粉絲建議收整合資料集,再就地辦個玫瑰影象分類比賽,模型可以叫 RoseNet。

比發朋友圈更常見的,是沐神在評論區為為粉絲們答疑解惑。

有同學對學習應用機器學習上心裡沒底、不知道自己的數學功底夠不夠用。

沐神看到後不僅給出了自己的看法,還怕粉絲看不懂,後續又詳細補充了一條回覆。

當然了,他時不時也會和大家一起玩個梗。

和你聊完學習聊生活人生,這不就是活脫脫的一位線上導師?

有網友就表示,以後自己研究生複試時都要說師從李沐老師(doge)。

而且李沐對於自己的課程,也非常用心。

他認為長視訊能讓大家看下去音質是非常重要的。為此他特意剁手買了兩個 300 多美元的專業麥克風,錄試音視訊讓粉絲來選哪個效果最好。

即使是中文課程也想配上字幕,為了讓不方便開聲音的粉絲靜音也能學習,換了能自動識別字幕的剪輯軟體,但發現並不好用。

這一吐槽“嚇”得網友們趕緊來推薦軟體,生怕他會因此斷更。

此外,李沐的這些課程都是自己抽時間錄製,基本都是在晚上哄娃睡覺後開始。

尤其是論文精講這個系列,錄一篇文章的時間大概是 5 個小時,沐神一般都是每天深夜找半個小時或 1 個小時做一點,差不多 10 天才能出一期。

這也讓人不禁感嘆:沐神真的太勤奮了。

作為工業界大牛,李沐這些年在教學上反而花的功夫不少。

他曾在 UC 伯克利擔任客座教授,去年又開始在斯坦福以兼職講師身份授課。

在視訊平臺上開課也不是他第一次嘗試了。

此前他在 UC 伯克利時,就曾把課程視訊上傳到 YouTube 上,讓更多人免費學習。

他和 Alex Smola 等人編寫的《動手學深度學習》也已被視為業內入門深度學習的優秀教材。

顯然,李沐在降低 AI 入門門檻這件事上,已經身體力行多年,這也是眾多 AI 從業者仰慕李沐的原因之一。

而李沐更讓人佩服的,莫過於他開掛的人生經歷了。

李沐本科、研究生均畢業於上海交通大學,其中本科就讀於上交以培養電腦科學家而聞名的 ACM 班。

2011 年,由於拿到的 offer 並沒有合適的導師,李沐北上前往百度工作,擔任高階研究開發員。

在這期間,他建立了一套分散式機器學習廣告系統,具體來看就是使用機器學習來預測一個廣告是不是會被使用者點選。

同年年底,李沐收到了卡內基梅隆大學(CMU)的 offer,2012 年 8 月正式赴美讀博。

讀博期間,李沐一邊進修更多 AI 領域的知識,一邊也在大膽實踐。

他曾和陳天奇在 GitHub 上建立 DMLC 組織,就是這個社群開發出了大名鼎鼎的深度學習框架 ——MXNet。

博四時,李沐以兼職身份去了亞馬遜,繼續做 MXNet 的相關應用。

畢業後,他選擇留在亞馬遜,如今已成為亞馬遜首席科學家。

根據自己讀博、工作的經歷,李沐都寫了長文總結,曾在知乎上攬贊上萬。

而且大神對寫文這事兒似乎很感興趣,前不久還在B站發表了《用隨機梯度下降來優化人生》一文。

深度學習,深度人生。有點哲學家那味兒了。

具體內容大家可以移步B站圍觀~

李沐B站個人主頁:

https://space.bilibili.com/1567748478