Python 之 資料抓取三種方法
阿新 • • 發佈:2022-04-01
Python 之 資料抓取三種方法
- 正則表示式(re庫)
- BeautifulSoup(bs4)
- lxml
利用之前構建的下載網頁函式,獲取目標網頁的html。
例子
我們以https://guojiadiqu.bmcx.com/AFG__guojiayudiqu/為例,獲取html。
from get_html import download
url = 'https://guojiadiqu.bmcx.com/AFG__guojiayudiqu/'
page_content = download(url)
假設我們需要爬取該網頁中的國家名稱和概況,我們依次使用這三種資料抓取的方法實現資料抓取。
正則表示式
from get_html import download import re url = 'https://guojiadiqu.bmcx.com/AFG__guojiayudiqu/' page_content = download(url) country = re.findall('class="h2dabiaoti">(.*?)</h2>', page_content) #注意返回的是list survey_data = re.findall('<tr><td bgcolor="#FFFFFF" id="wzneirong">(.*?)</td></tr>', page_content) survey_info_list = re.findall('<p> (.*?)</p>', survey_data[0]) survey_info = ''.join(survey_info_list) print(country[0],survey_info)
BeautifulSoup(bs4)
from get_html import download from bs4 import BeautifulSoup url = 'https://guojiadiqu.bmcx.com/AFG__guojiayudiqu/' html = download(url) #建立 beautifulsoup 物件 soup = BeautifulSoup(html,"html.parser") #搜尋 country = soup.find(attrs={'class':'h2dabiaoti'}).text survey_info = soup.find(attrs={'id':'wzneirong'}).text print(country,survey_info)
lxml
from get_html import download
from lxml import etree #解析樹
url = 'https://guojiadiqu.bmcx.com/AFG__guojiayudiqu/'
page_content = download(url)
selector = etree.HTML(page_content)#可進行xpath解析
country_select = selector.xpath('//*[@id="main_content"]/h2') #返回列表
for country in country_select:
print(country.text)
survey_select = selector.xpath('//*[@id="wzneirong"]/p')
for survey_content in survey_select:
print(survey_content.text,end='')
執行結果
對比
引用《用python寫網路爬蟲》中對三種方法的效能對比,如下圖:
最後加個自己使用後得一些理解:
- re:無敵,但是比較複製,各種排序什麼的要熟練,熟練後基本全部資料都可以爬。
- BeautifulSoup(bs4):使用雖然簡單,但侷限性個人認為比較大,因為很多網頁的元素不是固定的,還有可能是動態class和id。
- lxml :問題和 BeautifulSoup(bs4)一樣,動態class和id的問題。