目錄：

前提：

scrapy這個框架很多人用過，網上教程也很多，但大多就是爬爬小說這種比較簡單且有規律的，網易雲音樂也有很多人寫過，也有API，不過大多是爬取了熱門歌曲，或是從歌單下手，但是考慮到歌單會有很多重複的。當然，從歌手頁的話，如果有多個歌手合唱，那每個歌手頁也都會有這首歌，但他們的連結是一樣的，也是會有重複的，但是相對來說就比較少，所以就從歌手下手。

因為種種原因，我後來還是沒有用框架又寫了一遍。這一塊執行成功了，但是我沒有去關注數量就中斷了，就只能拿出來當教程吧。

開發環境：WIN7+Anaconda+py2.7+scrapy
資料庫：MongoDB
文章的順序

：先分析思路，再分析scrapy框架每個模組的作用，最後寫程式碼和分析API，只有5篇。

有小夥伴問我為什麼在已經出到3.x後期了我還要用2.7，肯定也很多人疑惑，回答一下。

一是習慣，不用Anaconda整合環境的話，裡面是2.7，裝各種安裝包可以整到你懷疑人生。之前還有一個便攜版，好像叫portable python，它裡面自帶各種包括pycharm，pyQT，重點是它可以裝在U盤上，我之前用過pyQT，但是不知道是配置沒配好還是怎樣，不知道怎麼執行。我U盤裡還有，網上已經找不到了。
二是術業有專攻，反正我瞭解到的都是這樣，用3的比較多的是在科學計算方面，2用的多是在爬蟲和web，其他的看具體需求，目前我還沒嘗試過。大家如果有疑惑，可以參考我的建議，對哪塊有興趣就學哪個版本。省得像我走那麼多彎路

一般情況下，確實是越新越好。 py2.7也確實有許多 不足，但是在第三方庫的相容性上，很多爬蟲庫只支援2.7。反正我當時學Scrapy的時候，本著用最先進的版本，python的最新版當時是3.4，當時不知道scrapy不支援py3，文件有限，當時python也不像現在那麼火。於是用py3.4裝2.x的scrapy，折騰半天死活都裝不好不好，當時差點一度放棄要學python。換成2也是各種問題，後來發現Anaconda這個好東西，要什麼都只需要pip install xx或者conda insall xx。這也是為什麼我至今還在用2.7的原因，懶得折騰。
現在的Anaconda也分2和3了，3能不能裝scrapy我不知道，還沒試過。如果你不想用2.7，可以先嚐試下Anaconda3裝一裝scrapy看看能不能裝成功，是哪個版本的。

一、我們先爬歌手，有兩種方法：

方法一：遍歷id

第一種是遍歷，id數大概十一二萬的樣子，大多id是相隔不遠的。

優點：遍歷比較方便，比較全。有個別歌手有主頁，但是沒有申請音樂人，只能通過自己搜尋訪問id，用這種方式比較完整。
缺點：但是這種方式會有很多404，就需要你去處理。

但我最開始用的是下面這種，我們也拿這個來分析：

方法二：從分類獲取所有入駐的歌手的id

優缺點與方法一剛好相反。

優點：不用去做404處理。
缺點：獲取歌手不完全。分類裡只有已經入駐的歌手，你仔細搜搜就會發現很多歌手的主頁只有一個收藏的標籤，卻沒有個人主頁的標籤。沒有個人主頁的都是沒有入駐、沒有簽約，或是歌是被別人上傳的，被歸類到該主頁下的。

4、然後我們再點進去：

url的id就是上面這個id了，而後面的initial是什麼呢？initial是首字母的意思，你看下面我們選中的是A，然後它是65，是不是想到ASCII碼，在ASCII碼中A就是從65開始的，Z是90，後面以此類推，最後有個其他，是0，我們將它弄成一個列表：

#  男女、國家分類id
group_ids = (1001, 1002, 1003, 2001, 2002, 2003, 6001, 6002, 6003, 7001, 7002, 7003, 4001, 4002, 4003)
# 歌手姓名首字母id
initials = [i for i in range(65,91)] + [0]

二、歌手頁

1、點進來之後我們來到歌手頁，http://music.163.com/#/artist?id=6452，同樣，去掉#，
2、我們會發現下面有好幾個塊，

我們獲取的這個url對應的是熱門50首，如果你只需要熱門歌曲你可以獲取它所有連結:

這個程式碼被我分為兩塊，第一塊是熱門50首的url，也只有url。
而第二塊textarea裡是json，是這些歌曲的完整的資訊，我獲取的是json資訊，只不過，這些資訊通過lxml.etree或者BeautifulSoup用text的方式獲取下來會是字串，我們需要用json將它格式化，但是極個別在爬取的過程中，死活獲取不到。
3、上面那個是歌手的熱門歌曲，我們要獲取全站，就得從歌手的專輯下手，獲取專輯裡所有的歌手才行。因為scrapy本身的束縛，其實說是全站，並不是那麼方便，比如這四個板塊，我們只能選一個，一直往下，單曲或MV就得另寫。
4、我們在專輯頁會發現，有些是有很多頁的，後來搜的時候發現了API，所以接下來的東西，我們就不通過頁面的方式了，API我是通過這個網站發現的：http://moonlib.com/606.html，因為最開始我的目的是爬評論，來看到評論的API很多變了，我以為這些都變了，一開始還擱置了沒用，傻傻的去寫lxml，但是它的翻頁的序號是爬不到的，後來隨手測試了一下API，發現都有用。我們用到的是2到6（不包括5，沒用到歌單），第7條介面是MV的，不過不幸沒有發現像專輯一樣的列表頁資訊，它只有單曲的MV的API。不過這裡我們用不上。後面會專門分析API。

5、接下來就是每個專輯的所有歌曲還有專輯、歌手的一些資訊，專輯下也有評論

6、最後就是歌曲頁了

好，思路就是這樣，接下來我們分析Scrapy這個框架。