廢話

在前面的的部落格中我們已經能夠使用 python3 配合自帶的庫或者第三方庫抓取以及解析網頁，我們今天來試試抓取網易雲音樂的歌單資訊

分析網頁

我們現在來分析網頁
點選右側介面中的 Network 進入網路請求分析介面，如下：

上圖中我們可以看到請求還分了型別的，這裡我們檢視型別為 document 的條目，看著 playlist 條目比較像是包含歌單的檔案，於是我們點選 playlist 條目：

點選 preview， 如上圖，我們左邊的歌單在右邊找到了，看來就是這個請求獲取到了歌單。
然後我們點選 Headers 介面，來到請求頭資訊介面：

抓取 html

網頁內容獲取，按照三部曲來做
- 直接通過網址訪問，看能否取到需要的 html (一般是不可能的)
- 通過設定 headers，一開始就設定一個 UA，如：headers={
'User-Agent': 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'} 不過一般來說是可以通過正確獲得 html 的，但是有些網站會判斷 host 是否是自己，所以有的時候我們還需要加上(這裡以我們要訪問的網易歌單介面來作為例子)：'Host': 'music.163.com'
- 一開始能獲取，多次除錯後不能獲取了？這個是網站檢測到你的 IP 訪問次數過多而禁止你訪問了（也就是防止）我們就需要設定代理來避免這個問題。示例程式碼如下：

import urllib2
enable_proxy = True
proxy_handler = urllib2.ProxyHandler({"http" : 'http://some-proxy.com:8080'})
null_proxy_handler = urllib2.ProxyHandler({})
if enable_proxy:
    opener = urllib2.build_opener(proxy_handler)
else:
    opener = urllib2.build_opener(null_proxy_handler)
urllib2.install_opener(opener)
 

這樣我們就可以開始解析 html 了，不過我還是建議新增上 UA 與 host ，養成一個習慣，不要每次都試來浪費時間。於是我們獲取 html 的程式碼如下：

# 爬取網易雲音樂的爬蟲
# -*- coding: utf-8 -*-
import urllib.request
import urllib


def gethtml(url, headers={}):
    req = urllib.request.Request(url, headers=headers)
    response = urllib.request.urlopen(req)
    content = response.read().decode('utf-8')
    response.close()
    return content


url = 'http://music.163.com/discover/playlist'
url = gethtml(url, headers={
    'User-Agent': 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)',
    'Host': 'music.163.com'
})
print(url)

解析 html

這裡我們使用 BeautifulSoup4 使用 css 選擇器來選擇元素來解析 html ，回到瀏覽器 F12，來分析怎麼獲得需要的資訊：

如圖，從上到下依次的資訊是
- 歌單封面
- 歌單名稱與連結
- 歌單播放量
- 歌單建立人以及建立人主頁

那麼我們現在就來以此通過css 選出包含內容的最小標籤。
封面圖片 img 標籤

soup.select('ul#m-pl-container li div img')

歌單名稱與連結 a 標籤

soup.select('ul#m-pl-container li div a.msk')

歌單播放量 span 標籤

soup.select('div.bottom span.nb')

歌單建立人與建立人主頁

soup.select('ul#m-pl-container li p a')

然後我們通過遍歷來輸出這些標籤中的資訊，完整程式碼如下：

# 爬取網易雲音樂的爬蟲
# -*- coding: utf-8 -*-
from bs4 import BeautifulSoup
import urllib.request
import urllib

#獲取網頁
def gethtml(url, headers={}):
    req = urllib.request.Request(url, headers=headers)
    response = urllib.request.urlopen(req)
    content = response.read().decode('utf-8')
    response.close()
    return content

#解析音樂列表網頁
def parsehtmlMusicList(html):
    soup = BeautifulSoup(html, 'lxml')
    list_pic = soup.select('ul#m-pl-container li div img')
    list_nameUrl = soup.select('ul#m-pl-container li div a.msk')
    list_num = soup.select('div.bottom span.nb')
    list_author = soup.select('ul#m-pl-container li p a')
    n = 0
    length = len(list_pic)
    while n < length:
        print('歌單圖片：'+list_pic[n]['src']+'\n\n')
        print('歌單名稱：'+list_nameUrl[n]['title']+'\n\n歌單地址：'+list_nameUrl[n]['href']+'\n\n')
        print('歌單播放量：'+list_num[n].text+'\n\n')
        print('歌單作者：'+list_author[n]['title']+'\n\n作者主頁：'+list_author[n]['href']+'\n\n\n')
        n += 1


url = 'http://music.163.com/discover/playlist'
url = gethtml(url, headers={
    'User-Agent': 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)',
    'Host': 'music.163.com'
})
parsehtmlMusicList(url)

最終效果如下：

歡迎交流。