最近無所事事，在逼乎看到別人爬取了豆瓣電影，發現挺適合我這菜雞練練手

所以我來爬音樂。。

#對不起豆瓣，又是爬你。。

目標網站：https://music.douban.com/top250?start=0

首先正常瀏覽分析網頁

開啟網址，點選下一頁，發現網站URL變成  https://music.douban.com/top250?start=25，所以可以判斷接下來每一頁的URL為 star=25*i。

所以先確定總URL

urls = ['https://music.douban.com/top250?start={}'.format(str(i)) for i in range(0, 250, 25)]

檢視網頁原始碼，部分如下

        
        <p class="ul first"></p>
        <table width="100%%">
            <tr class="item">
                <td width="100" valign="top">
        
            <a class="nbg" href="https://music.douban.com/subject/2995812/" onclick="moreurl(this,{i:'0',query:'',subject_id:'2995812',from:'music_subject_search'})" title="Jason Mraz - We Sing. We Dance. We Steal Things."  >
                <img src="https://img3.doubanio.com/spic/s2967252.jpg" alt="Jason Mraz - We Sing. We Dance. We Steal Things."/></a>
            </td>
            <td valign="top">
        
        <div class="pl2">
        <a href="https://music.douban.com/subject/2995812/" onclick="moreurl(this,{i:'0',query:'',subject_id:'2995812',from:'music_subject_search'})" >
            We Sing. We Dance. We Steal Things.
       </a>

            <p class="pl">Jason Mraz / 2008-05-13 / Import / Audio CD / 民謠</p>

        
        
                    <div class="star clearfix"><span class="allstar45"></span><span class="rating_nums">9.1</span>
                <span class="pl">
                    (
                            100208人評價
                    )
                </span></div>

        </div>
        </td>
        </tr>
        </table><div id="collect_form_2995812"></div>
 

所以，為了得到每首歌詳細頁面的URL，我們需要查詢所有所有符合條件的a標籤，程式碼如下

    r = requests.get(url,headers = headers)   #得到respons物件
    soup = BeautifulSoup(r.text,'lxml')  #得到soup物件，沒安裝lxml模組的可以改成html.parser
    music_hrefs = soup.select('a.nbg')  #查詢每個符合條件的a標籤，返回一個列表
 

同樣先檢視網頁原始碼

先找歌曲名

        <h1>
            <span>We Sing. We Dance. We Steal Things.</span>
            <div class="clear"></div>
        </h1>

name = soup.select('h1 > span')

發現其他資訊集中在一起，網頁程式碼如下

  <div id="info" class="ckd-collect">
        

                
                    <span>
                        <span class="pl">
                            表演者:
                                    
                                    <a href="/search?q=Jason%20Mraz&sid=2995812">Jason Mraz</a>
                        </span>
                    </span>
                    
                    <br/>
                
                    
    
    <span class="pl">流派:</span> 民謠
    <br />

                
                    
    
    <span class="pl">專輯型別:</span> Import
    <br />

                
                    
    
    <span class="pl">介質:</span> Audio CD
    <br />

                
                    
    
    <span class="pl">發行時間:</span> 2008-05-13
    <br />

author = soup.find_all(href = re.compile('/search?'))  #不想苦苦分析關係，直接找符合關係的標籤，re就是好

musictype = re.findall(r'<span class="pl">流派:</span> (.*?)<br />',r.text,re.S)

需要注意的是，無論是select還是find_all，返回的都是列表，select返回的列表中的元素為Tag，需要用get_text()得到字元部分，而find_all用下標即可

接下來貼出完整程式碼

import requests
import lxml
from bs4 import BeautifulSoup
import time
import re
import csv
import os
headers = {
    'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'
}
def geturl(url,writer):
    r = requests.get(url,headers = headers)
    soup = BeautifulSoup(r.text,'lxml')
    music_hrefs = soup.select('a.nbg')
    for music_href in music_hrefs:
        getmusic(music_href['href'],writer)
def getmusic(url,writer):
    r = requests.get(url,headers = headers)
    soup = BeautifulSoup(r.text,'lxml')
    name = soup.select('h1 > span')
    if len(name) == 0:
        name = '未知'
    else:
        name = name[0].get_text()
    author = soup.find_all(href = re.compile('/search?'))
    if len(author) == 0:
        author = '佚名'
    else:
        author = author[0].get_text()
    musictype = re.findall(r'<span class="pl">流派:</span> (.*?)<br />',r.text,re.S)#[0].split('\n')[0]
    if len(musictype) == 0:
        musictype = '未知'
    else:
        musictype = musictype[0].split('\n')[0]  #為了使資料更好看。。
    musictime = re.findall(r'<span class="pl">發行時間:</span> (.*?)<br />',r.text,re.S)#[0].split('\n')[0]
    if len(musictime) == 0:
        musictime = '未知'
    else:
        musictime = musictime[0].split('\n')[0]  #為了使資料更好看。。
    '''info = {
        'name': name,
        'author': author,
        'style': musictype,
        'time': musictime,
    }'''
    writer.writerow((name,author,musictype,musictime))

def main():
    os.chdir(r'C:\Users\zhu\Desktop')
    f = open('csv.csv','w',encoding='utf-8',newline='') #編碼設定為utf-8，不然爬取下來有些會亂碼
    writer = csv.writer(f)
    writer.writerow(('歌名','作者','風格','時間')) #寫入csv檔案
    urls = ['https://music.douban.com/top250?start={}'.format(str(i)) for i in range(0, 250, 25)]
    for url in urls:
        geturl(url,writer)
        print("papapa")  #為了告訴你程式是在執行的。。。
    f.close()
    print("爬取完成")
main()

第一次記錄自己學習的東西

要是哪裡寫的不對

你來打我啊

（歡迎大佬指正。。）

為了讓爬取資料更直觀，接下來我們要可以進行資料分析，生成什麼餅圖，直方圖什麼的

好吧，其實接下來我就不會了

END