技術標籤：爬蟲pythonxpath

跟爬取圖片類似，思路是找url，再獲取想要的內容並儲存。

import requests#引用庫
from lxml import etree#引用庫
import os#引用庫
if not os.path.exists('./滄園圖/'):#先判斷是否有叫滄園圖的檔案，若沒有則建立一個當前目錄下名為滄園圖的檔案，
    os.makedirs('./滄園圖/')
url='http://www.biquw.com/book/19877/8484359.html'#找到你想爬取小說章節網站連結
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.96 Safari/537.36 Edg/88.0.705.56'
 
}#進行UA偽裝
r=requests.get(url=url,headers=headers).text.encode(encoding='ISO-8859-1').decode()#傳送請求和獲得響應資料
r1=etree.HTML(r,etree.HTMLParser())#解析HTML文件
a=r1.xpath('//div[@id="htmlContent"]/text()');z=''#用xpath匹配文字
b=r1.xpath('//title/text()')#用xpath匹配文字內容的名字
for name in b:#把文字內容的名字遍歷出來
    pass
for
 
 i in a:#將列表儲存的文字遍歷出來並拼接
    z+=i#增強字元
with open('./滄園圖/'+name+'.txt','w',encoding='utf-8') as fp:#永久化儲存
    fp.write(z)

小白一個，懇請大佬指點。