1. 程式人生 > >Python爬取網易雲課堂課程資料

Python爬取網易雲課堂課程資料

本人對於Python學習建立了一個小小的學習圈子,為各位提供了一個平臺,大家一起來討論學習Python。歡迎各位到來Python學習群:960410445一起討論視訊分享學習。Python是未來的發展方向,正在挑戰我們的分析能力及對世界的認知方式,因此,我們與時俱進,迎接變化,並不斷的成長,掌握Python核心技術,才是掌握真正的價值所在。

我簡單的看了一下,頁面資料是基於

https://study.163.com/p/search/studycourse.json 這個地址進行非同步載入的。你自己嘗試的時候需要藉助開發者工具

進行多次嘗試,抓取到這個地址的資料為準。

還有一個地方需要注意,這次是post提交方式,並且提交資料是payload型別的,這個原因導致我們的程式碼和以前的略微有一些不同的地方。

提取post關鍵字,看一下各個引數的意思,如果你爬取的網站足夠多,那麼訓練出來的敏感度能夠快速的分析這些引數


好了,可以開始編寫程式碼了,核心的程式碼就是通過requests模組傳送post請求


因為獲取到的資料是json型別的,所以,資料可以快速的儲存到mongodb裡面,儲存資料的程式碼我依舊留空,希望你自己可以完善。

通過很短的時間,我們就捕獲到了3000門課程

好了,需要程式碼和Python學習視訊,可以加Python學習群:960410445