深度學習課程資源整理
這裡整理一批深度學習課程或者深度學習相關公開課的資源,持續更新,僅供參考。
1. Andrew Ng (吳恩達) 深度學習專項課程 by Coursera and deeplearning.ai
這是 Andrew Ng 老師離開百度後推出的第一個深度學習專案(deeplearning.ai)的一個課程: Deep Learning Specialization ,課程口號是:Master Deep Learning, and Break into AI. 作為 Coursera 聯合創始人 和 機器學習網紅課程 “Machine Learning” 的授課者,Andrew Ng 老師引領了數百萬同學進入了
作為 Andrew Ng 老師的粉絲,依然推薦這門課程作為深度學習入門課程首選,並且建議花費上 Coursera 上的課程,一方面可以做題,另外還有證書,最重要的是它的程式設計作業,是理解課程內容的關鍵點,僅僅看視訊絕對是達不到這個效果的。參考:《Andrew Ng 深度學習課程小記》和《Andrew Ng (吳恩達) 深度學習課程小結》。
Geoffrey Hinton大神的這門深度學習課程 2012年在 Coursera 上開過一輪,之後一直沉寂,直到 Coursera 新課程平臺上線,這門課程已開過多輪次,來自
“Deep learning必修課”
“宗派大師+開拓者直接講課,秒殺一切二流子”
這門深度學習課程名字雖然是 “Machine Learning 2014-2015″,不過主要聚焦在深度學習的內容上,可以作為一門很系統的機器學習深度學習課程:
Machine learning techniques enable us to automatically extract features from data so as to solve predictive tasks, such as speech recognition, object recognition, machine translation, question-answering, anomaly detection, medical diagnosis and prognosis, automatic algorithm configuration, personalisation, robot control, time series forecasting, and much more. Learning systems adapt so that they can solve new tasks, related to previously encountered tasks, more efficiently.
The course focuses on the exciting field of deep learning. By drawing inspiration from neuroscience and statistics, it introduces the basic background on neural networks, back propagation, Boltzmann machines, autoencoders, convolutional neural networks and recurrent neural networks. It illustrates how deep learning is impacting our understanding of intelligence and contributing to the practical design of intelligent machines.
參考:“牛津大學Nando de Freitas主講的機器學習課程,重點介紹深度學習,還請來Deepmind的Alex Graves和Karol Gregor客座報告,內容、講解都屬一流,強烈推薦! 雲: http://t.cn/RA2vSNX”
Udacity (優達學城)上由Google工程師主講的免費深度學習課程,結合Google自己的深度學習工具 Tensorflow ,很不錯:
機器學習是發展最快、最令人興奮的領域之一,而深度學習則代表了機器學習中最前沿但也最有風險的一部分。在本課內容中,你將透徹理解深度學習的動機,並設計用於瞭解複雜和/或大量資料庫的智慧系統。
我們將教授你如何訓練和優化基本神經網路、卷積神經網路和長短期記憶網路。你將通過專案和任務接觸完整的機器學習系統 TensorFlow。你將學習解決一系列曾經以為非常具有挑戰性的新問題,並在你用深度學習方法輕鬆解決這些問題的過程中更好地瞭解人工智慧的複雜屬性。
我們與 Google 的首席科學家兼 Google 智囊團技術經理 Vincent Vanhoucke 聯合開發了本課內容。此課程提供中文版本。
5. Udacity 納米基石學位專案:深度學習
Udacity的納米基石學位專案,收費課程,不過據說更注重實戰:
人工智慧正顛覆式地改變著我們的世界,而背後推動這場進步的,正是深度學習技術。優達學城和矽谷技術明星一起,帶來這門幫你係統性入門的課程。你將通過充滿活力的矽谷課程內容、獨家實戰專案和專業程式碼審閱,快速掌握深度學習的基礎知識和前沿應用。
你在實戰專案中的每行程式碼都會獲得專業審閱和反饋,還可以在同步學習小組中,接受學長、導師全程的輔導和督促
fast.ai上提供了幾門深度學習課程,課程標語很有意思:Making neural nets uncool again ,並且 Our courses (all are free and have no ads):
Deep Learning Part 1: Practical Deep Learning for Coders
Why we created the course
What we cover in the course
Deep Learning Part 2: Cutting Edge Deep Learning for Coders
Computational Linear Algebra: Online textbook and Videos
Providing a Good Education in Deep Learning—our teaching philosophy
A Unique Path to Deep Learning Expertise—our teaching approach
難得的免費中文深度學習課程:
據說是美女老師,這門課程16年秋季開過一次,不過沒有視訊,最新的這期是17年秋季課程,剛剛開課,Youtube上正在陸續放出課程視訊:
9. Yann Lecun 深度學習公開課
“Yann Lecun 在 2016 年初於法蘭西學院開課,這是其中關於深度學習的 8 堂課。當時是用法語授課,後來加入了英文字幕。
作為人工智慧領域大牛和 Facebook AI 實驗室(FAIR)的負責人,Yann Lecun 身處業內機器學習研究的最前沿。他曾經公開表示,現有的一些機器學習公開課內容已經有些過時。通過 Yann Lecun 的課程能瞭解到近幾年深度學習研究的最新進展。該系列可作為探索深度學習的進階課程。”
10. 2016 年蒙特利爾深度學習暑期班
推薦理由:看看嘉賓陣容吧,Yoshua Bengio 教授迴圈神經網路,Surya Ganguli 教授理論神經科學與深度學習理論,Sumit Chopra 教授 reasoning summit 和 attention,Jeff Dean 講解 TensorFlow 大規模機器學習,Ruslan Salakhutdinov 講解學習深度生成式模型,Ryan Olson 講解深度學習的 GPU 程式設計,等等。
這門面向計算機視覺的深度學習課程由Fei-Fei Li教授掌舵,內容面向斯坦福大學學生,貨真價實,評價頗高:
Computer Vision has become ubiquitous in our society, with applications in search, image understanding, apps, mapping, medicine, drones, and self-driving cars. Core to many of these applications are visual recognition tasks such as image classification, localization and detection. Recent developments in neural network (aka “deep learning”) approaches have greatly advanced the performance of these state-of-the-art visual recognition systems. This course is a deep dive into details of the deep learning architectures with a focus on learning end-to-end models for these tasks, particularly image classification. During the 10-week course, students will learn to implement, train and debug their own neural networks and gain a detailed understanding of cutting-edge research in computer vision. The final assignment will involve training a multi-million parameter convolutional neural network and applying it on the largest image classification dataset (ImageNet). We will focus on teaching how to set up the problem of image recognition, the learning algorithms (e.g. backpropagation), practical engineering tricks for training and fine-tuning the networks and guide the students through hands-on assignments and a final course project. Much of the background and materials of this course will be drawn from the ImageNet Challenge.
這門課程由NLP領域的大牛 Chris Manning 和 Richard Socher 執掌,絕對是學習深度學習自然語言處理的不二法門。
Natural language processing (NLP) is one of the most important technologies of the information age. Understanding complex language utterances is also a crucial part of artificial intelligence. Applications of NLP are everywhere because people communicate most everything in language: web search, advertisement, emails, customer service, language translation, radiology reports, etc. There are a large variety of underlying tasks and machine learning models behind NLP applications. Recently, deep learning approaches have obtained very high performance across many different NLP tasks. These models can often be trained with a single end-to-end model and do not require traditional, task-specific feature engineering. In this winter quarter course students will learn to implement, train, debug, visualize and invent their own neural network models. The course provides a thorough introduction to cutting-edge research in deep learning applied to NLP. On the model side we will cover word vector representations, window-based neural networks, recurrent neural networks, long-short-term-memory models, recursive neural networks, convolutional neural networks as well as some recent models involving a memory component. Through lectures and programming assignments students will learn the necessary engineering tricks for making neural networks work on practical problems.
準確的說,這門課程主要是針對深度學習工具Tensorflow的:
Tensorflow is a powerful open-source software library for machine learning developed by researchers at Google Brain. It has many pre-built functions to ease the task of building different neural networks. Tensorflow allows distribution of computation across different computers, as well as multiple CPUs and GPUs within a single machine. TensorFlow provides a Python API, as well as a less documented C++ API. For this course, we will be using Python.
This course will cover the fundamentals and contemporary usage of the Tensorflow library for deep learning research. We aim to help students understand the graphical computational model of Tensorflow, explore the functions it has to offer, and learn how to build and structure models best suited for a deep learning project. Through the course, students will use Tensorflow to build models of different complexity, from simple linear/logistic regression to convolutional neural network and recurrent neural networks with LSTM to solve tasks such as word embeddings, translation, optical character recognition. Students will also learn best practices to structure a model and manage research experiments.
16. MIT組織的一個為期一週的深度學習課程: 6.S191: Introduction to Deep Learning http://introtodeeplearning.com/
17. 奈良先端科學技術大學院大學(NAIST) 2014年推出的一個深度學習短期課程(英文授課):Deep Learning and Neural Networks
歡迎大家推薦其他沒有覆蓋到的深度學習課程。
更新了一下github上“Coursera Archive”專案的相關課程連結,如果在Coursera新課程平臺上有的,就更新為新平臺連結,如果沒有,就保留課程圖譜上的連結,供大家參考。
從目前更新的連結來看,有的課程得到了保留,也有的直接不復存在,譬如機器學習的相關課程, 臺大林軒田老師的兩門機器學習課程就沒有了,但是大神Geoffrey Hinton的“面向機器學習”的神經網路課程貌似又復活了,Coursera新課程平臺上顯示的是2016年9月份開課,大家可以拭目以待。又例如自然語言處理的相關課程,只有 Michael Collins 大神的自然語言處理課程丟失,其他3門課程在新課程平臺上均有所保留,情況貌似沒有那麼糟。另外斯坦福大學的兩門演算法設計與分析課程,剛剛開課,感興趣的同學可以直接去上課了。
最後附上 “Coursera課程下載和存檔計劃” 相關索引,僅供查詢和參考:
週末對之前儲存和下載的Coursera課程做了一下整理和歸類,先送出機器學習、自然語言處理、推薦系統和資料探勘相關的14門課程資源。這些公開課資源很多來自於之前課程圖譜群內朋友的或者微博上的朋友的分享,這裡做了一些補充,主要針對Coursera舊課程平臺的課程進行備份和分享,對於一些已經遷移至新課程平臺的課程,希望大家直接去Coursra新課程平臺上去上課,這樣會有更好的學習體驗。最後特別說明的是,課程網盤資源僅供個人備份學習使用。
關於“Coursera課程下載和存檔計劃”,請參考:
以下是按幾個類別整理的相關課程資源,相關資訊我們也會同步到“Coursera Archive”專案上去:
機器學習相關課程:
該課程已經在Coursera新的課程平臺上釋出(https://www.coursera.org/learn/machine-learning),線上的課程資源依然會得到保留,優先推薦線上學習,可以做練習,可以提交作業,這裡分享的百度網盤資源包含兩個版本,來自於之前大家的分享:
該課程一直沒有開課,但是可以preview,視訊量很足,類容豐富,用Coursera Downloader下載後大約5G,是目前所有課程下載中佔用空間最大的。
該課程在課程圖譜上的評價很高,10條評價全是五星,而且評論都很精彩。據說林老師現在創業去了,這門課說不定也會成為絕版,趕緊收藏吧,有三個版本,來自於之前大家的分享或者網上的公開資源。
Geoffrey Hinton大神在Coursera上的這門課程只在2012年開過一輪,這次應該不會進行遷移了:
“Deep learning必修課”
“宗派大師+開拓者直接講課,秒殺一切二流子”
看看上面的點評,對深度學習感興趣的同學趕緊儲存,本次分享包含兩個版本,均為之前大家的分享:
這次應該也不會遷移了,想當年多少大神在Coursera上開課。。。本次分享有兩個版本,來自於之前大家的分享和網路上的可查資源:
自然語言處理相關課程
這門課程的授課老師是斯坦福教授Dan Jurafsky和Christopher Manning,兩位都是NLP領域的大大牛,其他不說,僅僅是他們寫的書應該是很多NLPer的入門書:前者寫了《Speech and Language Processing》,中文譯名《自然語言處理綜論》,後者寫了《Foundations of Statistical Natural Language Processing》,中文譯名《統計自然語言處理基礎》,這兩本幾乎是NLPer的入門必讀書籍。
用coursera-dl下載了一份並上傳到百度網盤備份,需要的同學儘快儲存:
這門課程瞭解不是太多,下載了一份作為備份:
這門課程已經切換到Coursera新課程平臺:https://www.coursera.org/learn/text-mining ,最新一輪課程將於2016年7月11號開課,推薦感興趣的同學直接線上學習,體驗MOOC平臺的諸多好處。
推薦系統相關課程:
這門課程已經切換到Coursera新課程平臺:https://www.coursera.org/learn/recommender-systems ,最新一輪課程剛剛於2016年6月13號開課,推薦感興趣的同學直接加入學習。以下提供一個網盤資源,是一個全部課程的打包壓縮檔案:
資料探勘相關課程
12、斯坦福大學 Jeff Ullman & Anand Rajaraman & Jure Leskovec Mining Massive Datasets
這門課程的授課老師之一是巨牛Jeff Ullman,他是計算機領域鼎鼎大名的“龍書”《編譯原理》及資料庫領域權威指南《資料庫系統實現》這兩本書的作者之一,谷歌創始人Sergey Brin亦是他的學生之一。該課程對應一個官方主頁:http://www.mmds.org/,提供課程和書籍的相關資源,全部開放。所對應的同名書籍中文譯名為《大資料 網際網路大規模資料探勘與分散式處理》,由王斌老師翻譯,已出第二版。網盤資源來自於大家的分享,包括兩個版本和一個英文版電子書籍:
授課老師 Jiawei Han 是資料探勘領域國際知名學者,這門課程目前已經遷移到Coursera新的課程平臺 https://www.coursera.org/learn/data-patterns ,新一輪課程將於8月底開課,感興趣的同學可以關注。
基於課程圖譜的Coursera爬蟲過了一遍目前Coursera舊平臺的課程資料,提取其中幾個有用資訊作為Coursera課程下載的速查表,大家可以基於coursera-dl和課程短連線(Session Slug)下載相關的課程,具體下載方法可參考上一篇文章:Coursera課程下載和存檔計劃(一)。
另外新建了一個 Github 專案:Coursera Archive,提供Markdown和Excel兩個版本的list。之後計劃將相關的網盤資訊也彙總上去,歡迎大家一起參與下載和分享。
總計516個課程,具體資訊可參考下表:
繼續閱讀 →
上週三收到Coursera平臺的群發郵件,大意是Coursera將在6月30號徹底關閉舊的課程平臺,全面升級到新的課程平臺上,一些舊的課程資源(課程視訊、課程資料)將不再儲存,如果你之前學習過相關的課程,或者有心儀的課程,Coursera建議你將這些課程資源下載下來備份。
說實話,自從Coursera這一兩年逐漸進行“商業升級”以後,我已經很少在這個平臺上學習公開課了,反而是edX的一些課程更吸引我,特別是課程質量,後者顯得更用心很多。不過作為最早的MOOC平臺Coursera,曾經誕生了很多經典課程,要是這些課程真的隨Coursera平臺的切換而丟失,實在可惜。這裡曾經整理過一批“公開課可下載資源彙總”,很多來自於大家的貢獻和分享,不過這也是兩三年前的事情,一些課程網盤資源已經失效,這封郵件促使我開始檢查這些網盤資源,特別是來自Coursera平臺的課程資源。之前有些課程資源沒有下載或者沒有網盤資源,以為只要有Coursera賬號,就可以隨時登陸上去線上觀看就可以了,也沒有下載的慾望,現在不同了,例如斯坦福大學Dan Jurafsky和Christopher Manning的自然語言處理課程,例如一直沒有開課卻可以preview觀看的大牛Pedro Domingos的機器學習課程,下載和備份是必須的。
工欲善其事,必先利其器,針對Coursera的下載工具有很多,包括一些瀏覽器外掛,不過這裡推薦的是Python下載工具Coursera Downloader, 簡稱coursera-dl。這個神器早在幾年前我就用過,印象深刻,這次重拾,依然非常方便給力。最簡單的安裝方法是“pip install coursera”,可參考github上該專案的安裝說明。下面以Mac OS系統為例簡單說明一下基於virtualenv的安裝使用方法,該方法對ubuntu這樣的linux系統應該有效,windows下沒有測試,未知。
首先從github上獲取程式碼,git clone或者直接下載zip原始碼檔案均可:
git clone https://github.com/coursera-dl/coursera-dl
Cloning into ‘coursera-dl’…
remote: Counting objects: 3357, done.
remote: Compressing objects: 100% (14/14), done.
remote: Total 3357 (delta 6), reused 0 (delta 0), pack-reused 3343
Receiving objects: 100% (3357/3357), 1.39 MiB | 75 KiB/s, done.
Resolving deltas: 100% (1852/1852), done.
cd coursera-dl/
virtualenv my-coursera
New python executable in /Users/xxxxxx/project/mooc/test/coursera-dl/my-coursera/bin/python
Installing setuptools, pip, wheel…done.
source my-coursera/bin/activate
pip install -r requirements.txt
Collecting beautifulsoup4>=4.1.3 (from -r requirements.txt (line 1))
…..
Installing collected packages: beautifulsoup4, six, html5lib, requests, urllib3, pyasn1, keyring
Successfully installed beautifulsoup4-4.4.1 html5lib-1.0b8 keyring-9.0 pyasn1-0.1.9 requests-2.10.0 six-1.10.0 urllib3-1.16
安裝完畢,以下是coursera-dl的詳細用法:
General: coursera-dl -u -p modelthinking-004
Multiple classes: coursera-dl -u -p saas historyofrock1-001 algo-2012-002
Filter by section name: coursera-dl -u -p -sf “Chapter_Four” crypto-004
Filter by lecture name: coursera-dl -u -p -lf “3.1_” ml-2012-002
Download only ppt files: coursera-dl -u -p -f “ppt” qcomp-2012-001
Use a ~/.netrc file: coursera-dl -n — matrix-001
Get the preview classes: coursera-dl -n -b ni-001
Specify download path: coursera-dl -n –path=C:\Coursera\Classes\ comnetworks-002
Display help: coursera-dl –helpMaintain a list of classes in a dir:
Initialize: mkdir -p CURRENT/{class1,class2,..classN}
Update: coursera-dl -n –path CURRENT `\ls CURRENT`
我們以Coursera上密歇根大學的“自然語言處理入門”課程為例,在舊的課程課程主頁“Introduction to Natural Language Processing”,首先需要加入(Enroll)該課程的一個班次,目前只有2015年10月到12月開過一輪課,加入該輪課程後,進入到課程詳細頁面,可以看到網頁連結類似這個形式:
https://class.coursera.org/nlpintro-001/lecture
對於Coursera Downloader來說,主要需要的就是這個”nlpintro-001″課程班次短連結,然後就可以嘗試下載了,這裡用 –path指定了課程下載路徑:
coursera-dl -u 使用者郵箱 -p 使用者密碼 --path=../../coursera_backup/ nlpintro-001
然後就開始了下載歷程。。。。。。可能和網路有關,這個下載有時候會中斷或者停止不動假死,coursera-dl提供了一個“Resuming downloads”模式,類似於“斷點續傳”,非常有用,可以用如下命令恢復之前中斷的下載:coursera-dl -u 使用者郵箱 -p 使用者密碼 --path=../../coursera_backup/ --resume nlpintro-001
這種加入課程然後下載課程資料的方法比較全,除了課程視訊外,還可以下載課程相關的課件和字幕。如果你沒有加入課程,Coursera Downloader提供了一個下載preview課程的方法,不過只能下載課程視訊,但是前提是你必須有Coursera賬號。以一直沒有開課卻可以preview觀看的大牛Pedro Domingos的機器學習課程為例,點選該課程主頁Machine Learning上的”Preview lectures”按鈕,即可得到課程預覽連結“https://class.coursera.org/machlearning-001/lecture/preview”,按照Coursera Downloader上的方法,需要預先在使用者主目錄下設定一個 ~/.netrc 檔案,檔案格式如下:
machine coursera-dl login 使用者郵箱 password 使用者密碼
非常重要的是,你需要把設定一下 ~/.netrc 的許可權:
chmod og-rw ~/.netrc
否則,會遇到如下的錯誤,我已經踩過這個坑了:
~/.netrc access too permissive: access permissions must restrict access to only the owner
之後就可以用如下命令下載preview的課程視訊檔案了:
coursera-dl -n -b --path=../../coursera_backup/ machlearning-001
希望大家用這個工具或其他工具儘快儲存Coursera自己心儀的課程,如果方便的話,上傳到相關的網盤,做個分享,一方面自己做個備份,另一方便方便大家共享學習資源。這裡先附上已經整理的5門Coursera公開課資源,部分課程資源還在下載和上傳中,之後將陸續整理髮布。
1、機器學習課程 by Andrew Ng
Geoffrey Hinton大神在Coursera上的這門課程只在2012年開過一輪,這次應該不會進行遷移了:
“Deep learning必修課”
“宗派大師+開拓者直接講課,秒殺一切二流子”
看看上面的點評,對深度學習感興趣的同學趕緊儲存,本次分享包含兩個版本,均為之前大家的分享:
這次應該也不會遷移了,想當年多少大神在Coursera上開課。。。本次分享為之前一個朋友的共享:
NLP大神的課程,必須備份,來自之前一個朋友的分享:
這門課程的授課老師是斯坦福教授Dan Jurafsky和Christopher Manning,兩位都是NLP領域的大大牛,其他不說,僅僅是他們寫的書應該是很多NLPer的入門書:前者寫了《自然語言處理綜論》,後者寫了《統計自然語言處理基礎》。
我用coursera-dl下載了一份並上傳到百度網盤備份,需要的同學儘快儲存:
附Coursera郵件內容:
Save course materials for some courses by June 30
Dear XXX,
We wanted to inform you of an update to our technology platform that will affect access to some courses you previously joined.
In 2014, Coursera began developing a new technology platform to improve your learning experience, and to allow courses to run more frequently. The majority of our courses are now offered on the new platform.
This month, we are closing the old platform. One or more courses you joined are on the old platform.
Effective June 30, 2016, courses on the old platform will no longer be available. You should use this opportunity to save any relevant course materials or assignments.How does this affect my courses?
Any courses and course materials on our old platform will no longer be accessible after June 30. Until that date, we encourage you to save any content you need for personal use and reference.
Any courses on the new platform will not be affected by this change.Will this affect earned Certificates?
All Statements of Accomplishment (SoA) and Verified Certificates will remain accessible in your Accomplishments page, as long as you do not unenroll from courses you have completed on the old Cplatform. You are also welcome to download a copy for your records at any time. Statements and Certificates that you have shared to LinkedIn will also be maintained on your LinkedIn profile after June 30.How do I know if a course is on the “old platform”?
If you aren’t sure which platform a course is on currently, navigate to the course and check the URL in the browser bar – courses on the old platform have URLs that begin with class.coursera.org (rather than then new platform, which uses the URL coursera.org/learn.)
How do I save course materials?
To save course materials from the old platform for reference:
• Download any lecture slides or videos that you would like to save for reference
• Save a record of your quizzes and other assignments by taking screenshotsMore questions?
If you have a technical issue with your account, please visit our Help Center.
Thank you for being a part of our learning community, and for your patience and understanding through this product transition! We are excited to continue to improve the learning experience on Coursera, and we look forward to bringing you more great courses on the new platform.
網上散落了很多同學的公開課學習筆記,這裡就嘗試來做一些彙總和整理,也歡迎大家提供線索。
課程圖譜上的明星課程,關注人數最多,評論最多,並且網上這門課程的筆記也是相當的多:
2)我愛公開課上的斯坦福大學機器學習筆記,還有幾課沒有;
這門課程的授課老師是斯坦福教授Dan Jurafsky和Christopher Manning,兩位都是NLP領域的大大牛,其他不說,僅僅是他們寫的書應該是很多NLPer的入門書:前者寫了《自然語言處理綜論》,後者寫了《統計自然語言處理基礎》