XPath

• 定義

即XML路徑語言(XML Path Language)，是一種用來確定XML文件中某部分位置的語言，它基於XML的樹狀結構，提供在資料結構樹中尋找節點的能力，也適用於HTML文件中；

• 開發工具

  • Chrome
    在Chrome的應用商店搜尋XPath Helper，然後安裝這個外掛即可；
    

  • Firefox
    同樣的方式，在應用中心查詢XPath Checker，然後安裝這個外掛即可，由於未使用Firefox，便不再演示；

• 語法

  • 節點選取

• 謂語

• 萬用字元

注意事項

• 使用方式：//獲取當前頁面所有元素，然後寫標籤名，最後寫謂詞進行提取；
• /和//的區別：/代表只獲取直接子節點，//代表獲取子孫節點；

lxml庫

安裝

使用如下命令安裝即可，

pip install lxml

使用

from lxml import etree

text = '''
<div>
    <ul>
        <li class="id-1"><a href="www.baidu.com">baidu</a></li>
        <li class="id-2"><a href="www.google.com">Google</a></li>
    </ul>
</div>
'''
 

# 解析字串為html文件
html = etree.HTML(text)
# 字串序列化為html文件
result = etree.tostring(html, encoding='utf-8')
print(result.decode('utf-8'))

# 從檔案讀取
parser = etree.HTMLParser(encoding='utf-8')
html = etree.parse('csdn.html', parser=parser)

# 獲取所有a標籤的href屬性
aList = html.xpath('//a/@href')
for a in aList:
    print(a)

總結

本文主要介紹了爬蟲中資料解析時所需要的用的XPath和lxml庫，介紹了它們的安裝方式和簡單的使用方式，如果你有更好的建議和想法，歡迎留言指正。