一起學爬蟲——使用Beautiful Soup爬取網頁

阿新 • • 發佈：2019-01-14

要想學好爬蟲，必須把基礎打紮實，之前釋出了兩篇文章，分別是使用XPATH和requests爬取網頁，今天的文章是學習Beautiful Soup並通過一個例子來實現如何使用Beautiful Soup爬取網頁。

什麼是Beautiful Soup

Beautiful Soup是一款高效的Python網頁解析分析工具，可以用於解析HTL和XML檔案並從中提取資料。
Beautiful Soup輸入檔案的預設編碼是Unicode，輸出檔案的編碼是UTF-8。
Beautiful Soup具有將輸入檔案自動補全的功能，如果輸入的HTML檔案的title標籤沒有閉合，則在輸出的檔案中會自動補全，並且還可以將格式混亂的輸入檔案按照標準的縮排格式輸出。

Beautiful Soup要和其他的解析器搭配使用，例如Python標準庫中的HTML解析器和其他第三方的lxml解析器，由於lxml解析器速度快、容錯能力強，因此一般和Beautiful Soup搭配使用。

初始化Beautiful Soup物件的程式碼：

html = 
'''
<html><title>Hello Beautiful Soup</title><p>Hello</p></html>
'''
soup = BeautifulSoup(html,'lxml')

只需把第二個引數寫成"lxml"即可使用lxml解析器初始化Beautiful Soup物件。

Beautiful Soup提供了三種選擇器用去爬取節點中的資料，分別是節點選擇器、方法選擇器和CSS選擇器。下面分別介紹著三個選擇器的用法。

節點選擇器：
HTML網頁有title、p、a、head、tr、td等節點。通過Beautiful Soup物件+"."+節點即可直接訪問到節點。
Beautiful Soup物件+"."+節點+"."+string即可提取到節點的文字資訊。

用法	描述
soup.title	選擇第一個title節點
soup.title.string	提取第一個title節點的文字資訊
soup.title.attrs	獲取第一個title節點的所有屬性，返回的結果的詞典。如果有class屬性，則class屬性返回的是list，class屬性之間以空格當做分隔符
soup.p.contents	獲取第一個p節點的所有直接子節點。該方法返回的是第一個p節點中包含的所有直接子位元組點和文字，不包含孫節點，兩個節點之間的文字也當做是一個節點返回。返回的結果是列表
soup.p.children	返回第一個p節點的所有直接子節點，返回的結果是list_iterator物件
soup.p.descendants	獲取第一個p節點的所有子孫節點
soup.a.parent	獲取第一個a節點的父節點
soup.a.parents	獲取第一個a節點的所有祖先節點
soup.p.next_siblings	獲取第一個p節點的下一個兄弟節點
soup.p.previous_siblings	獲取第一個p節點的上一個兄弟節點

方法選擇器：
根據傳入的引數查詢符合條件的節點。
下面是方法選擇器提供的方法：

方法	描述
find_all(name,attrs,recursive,text,**kwargs)	根據傳入引數查詢所有符合條件的節點， name是節點名，attrs屬性值，text文字內容等。 text引數可以是字串，也可以是正則表示式: soup.find_all(text=re.compile('test'))
find(name,attrs,recursive,text,**kwargs)	返回第一個符合條件的節點
find_parents()	返回所有祖先節點
find_parent()	返回父節點
find_next_siblings()	往後查詢，所有兄弟節點
find_next_sibling()	往後查詢，返回第一個兄弟節點
find_previous_siblings()	往前查詢，返回所有兄弟節點
find_previous_sibling()	往前查詢，返回第一個兄弟節點

在使用上面的方法時，如果引數中有Python的關鍵字，則需要在引數下面加一個下劃線，例如下面的程式碼，class是Python的關鍵字，必須在class後加下劃線class_="title_class"：

from bs4 import BeautifulSoup

html = '''
<html>
    <body>
        <title id="title_id" class="title_class" name="title name">Test BeautifulSoup</title>
        <p>
            <a href = "./test_beautifulsoup.html">test beautifulsoup link<a>
            
        </p>
        <ul>
            <li class="animal">cat</li>
            <li class="animal">dog</li>
        </ul>
    </body>
</html>
'''

soup = BeautifulSoup(html,'lxml')
print(soup.find_all(name='title',class_='title_class'))

CSS選擇器：
BeautifulSoup還支援獲取css元素，例如ul、div、li等元素。CSS選擇器主要提供select()方法獲取符合條件的節點(Tag物件)，然後通過節點的get_text()方法和text屬性可以獲取該節點的文字值。

select方法還可以根據css的樣式規則選擇相應的節點：

from bs4 import BeautifulSoup

html = '''
<html>
    <body>
        <title id="title_id" class="title_class" name="title name">Test BeautifulSoup</title>
        <p>
            <a href = "./test_beautifulsoup.html">test beautifulsoup link<a>
            
        </p>
        <ul class="animal" id="aninal_id">
            <li class="cat">cat</li>
            <li class="animal dog">dog</li>
        </ul>
        <ul class="fruit" id = "fruit_id">
            <li class="apple">apple</li>
            <li class="banana">banana</li>
        </ul>
    </body>
</html>
'''

soup = BeautifulSoup(html,'lxml')
print('獲取id為title_的所有節點')
print(soup.select('#title_id'))
print('獲取class為title_的所有節點')
print(soup.select('.title_class'))
print('獲取所有ul節點下面的所有li節點')
print(soup.select('ul li'))
print('獲取所有class為fruit節點下的所有li節點')
print(soup.select('.fruit li'))
print('獲取所有class為fruit節點下的第一個li節點的文字值')
print(soup.select('.fruit li')[0].string)
print('獲取所有class為fruit節點下的第一個li節點的文字值')
print(soup.select('.fruit li')[0].get_text())
print('獲取所有class為fruit節點下的第一個li節點的class屬性值，注意class屬性返回的是list列表，屬性之間用空格分隔')
print(soup.select('.fruit li')[0].attrs['class'])
print(soup.select('.animal li')[1].attrs['class'])
print('迴圈迭代所有ul下面的所有li節點的文字值')
for li in soup.select('ul li'):
    print(li.text)

下面分析怎麼通過beautiful soup抓取到我們的資料。
通過開發者工具，我們可以看到所有歌曲是在class為article的div中，然後每首個在class為clearfix的li中。
python beautifulsoup
因此首先使用css選擇器獲取到class為article下面的所有li節點：

soup.select(".article li")

然後檢視每首歌曲的html程式碼：
python beautifulsoup
紅色框部分是一首歌的html程式碼。
歌曲排名在class為“gree-num-box”的span節點中，因為span節點是<li class="clearfix">節點的子節點，獲取排名的程式碼為：li.span.text

綠色框中A節點中是歌曲的連結和圖片連結，獲取歌曲連結的程式碼為：li.a['href']

藍色框中是歌曲的名字、演唱者和播放次數，歌曲名是在class="icon-play"的H3節點中，因此可以使用方法選擇器中的find()方法獲取到H3節點，然後獲取H3節點下面a節點中的文字資訊就是歌曲的名字，程式碼為：li.find(class_="icon-play").a.text

獲取演唱者和播放次數的程式碼為：
li.find(class_="intro").p.text.strip()

獲取上榜天數的程式碼為：

li.find(class_="days").text.strip()

在豆瓣音樂排行榜的頁面一個現實20首歌曲，前面10首歌曲會有圖片，後面10首歌曲是沒有圖片的，因此後面10首歌曲將不獲取圖片的地址。

另外還有一點需要注意的是，後面10首歌曲的演唱者和播放次數是在class="icon-play"的p節點中：
python beautifulsoup

而該節點中有a節點，要想獲取a節點外的資訊，必須使用節點選擇器的contents方法：
li.find(class_="intro").p.contents[2].strip()
contents返回的是p節點的直接子節點，以列表的形式返回，這裡返回列表中有3個元素，分別是

後的字串，a節點、演唱者/播次數。contents會將直接子節點之間的換行符也當做一個元素。

程式碼整理後如下：

# coding:utf-8

from bs4 import BeautifulSoup
import requests
def parseHtml(url):
    headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36 SE 2.X MetaSr 1.0"}

    response = requests.get(url,headers=headers)
    soup = BeautifulSoup(response.text,'lxml')
    #使用css選擇器獲取class="article"的節點下面的所有li節點
    for index,li in enumerate(soup.select(".article li")):
        if(index <10):
            print('歌曲排名：' + li.span.text)
            print('歌曲連結：' + li.a['href'])
            print('歌曲名：' + li.find(class_="icon-play").a.text)#使用方法選擇器
            print('演唱者/播放次數：' + li.find(class_="intro").p.text.strip())
            print('上榜時間：'+li.find(class_="days").text.strip())
        else:
            print('歌曲排名：' + li.span.text)
            print('歌曲名：' + li.find(class_="icon-play").a.text)
            print('演唱者/播放次數：' + li.find(class_="intro").p.contents[2].strip())#方法選擇器和節點選擇器搭配使用
            print('上榜時間：' + li.find(class_="days").text.strip())
        print('—————————————————強力分隔符———————————————————')

def main():
    url = "https://music.douban.com/chart"
    parseHtml(url)

if __name__ == '__main__':
    main()

本文通過爬取豆瓣音樂排行榜的小專案學習瞭如何使用Beautiful Soup的節點選擇器、方法選擇器、CSS選擇器來爬取一個網頁。這三個選擇器可以混合搭配使用。

一起學爬蟲——使用Beautiful Soup爬取網頁

一起學爬蟲——使用Beautiful Soup爬取網頁！

一起學爬蟲——使用Beautiful Soup爬取網頁

Python3網路爬蟲：使用Beautiful Soup爬取小說

Python3 學習4：使用Beautiful Soup爬取小說

用etree和Beautiful Soup爬取騰訊招聘網站

python爬蟲小試例項--爬取網頁圖片並下載

不會Python爬蟲？教你一個通用爬蟲思路輕鬆爬取網頁資料

[原創]python爬蟲之BeautifulSoup,爬取網頁上所有圖片標題並存儲到本地文件

案例學python——案例三：豆瓣電影資訊入庫一起學爬蟲——通過爬取豆瓣電影top250學習requests庫的使用

一起學爬蟲——使用xpath庫爬取貓眼電影國內票房榜

一起學爬蟲——如何爬取通過ajax載入資料的網站

一起學爬蟲——通過爬取豆瓣電影top250學習requests庫的使用

一起學爬蟲 Node.js 爬蟲篇（三）使用 PhantomJS 爬取動態頁面

一個鹹魚的Python爬蟲之路（三）：爬取網頁圖片

Python爬蟲：現學現用Xpath爬取豆瓣音樂

Java爬蟲學習《一、爬取網頁URL》

★ Python爬蟲 - 爬取網頁文字資訊並儲存（美文的爬取與儲存）

Python 爬蟲技巧1 | 將爬取網頁中的相對路徑轉換為絕對路徑

爬蟲入門之爬取靜態網頁表格資料

python實戰之網路爬蟲（爬取網頁新聞資訊列表）

一起學爬蟲——使用Beautiful Soup爬取網頁

相關推薦