Python用正則表示式實現爬取古詩文網站資訊
目錄
- 分析古詩文
- 1. 用正則表示式獲取總頁數
- 2. 提取詩的標題
- 3. 提取作者和朝代
- 4. 提取詩的內容
- 整理程式碼
- 完整原始碼
- 總結
分析古詩文網站
下圖1展示了古詩文網站—》詩文 欄目的首頁資料。該欄目的地址是:https://so.gushiwen.cn/shiwens/
第二頁的地址是:https://so.gushiwen.cn/shiwens/default.aspx?page=2&tstr=&astr=&cstr=&xstr= 。依次類推第n頁的地址就是page=n。其他不變。
1. 用正則表示式獲取總頁數
匹配的正則表示式是r'<div class="pagesright">.*?<span .*?>(.*?)</span>'
- 首先,r修飾的字串是原生字串,首先匹配到<div class="pagesright"> 標籤,然後再通過.*?匹配到裡面的裡面的<a>標籤<span>標籤等。這裡. 可以匹配到任意的一個字元(換行符除外),* 號可以匹配0或者任意多個字元。? 號表示只能匹配到1個或者0個。這裡加上?號是為了使用非貪婪模式。
- <span .*?> 通過匹配到存放總頁數的<span>標籤。在標籤裡指定.*?
- (.*?) 加上() 可以指定不同的分組,這裡我們只需要獲取頁數所以就單獨新增一個分組。
所以,最終的程式碼是:
def get_total_pages(): resp = requests.get(first_url) # 獲取總頁數 ret = re.findall(r'<div class="pagesright">.*?<span .*?>(.*?)</span>',resp.text,re.DOTALL) result = re.search('\d+',ret[0]) for page_num in range(int(result.group())): url = 'https://so.gushiwen.cn/shiwens/default.aspx?page=' + str(page_num) parse_page(url)
在findall方法中傳入re.DOTALL引數是為了是. 號可以匹配到換行符\n。
前面ret的結果是/ 5頁。再獲取5這個數字的話,還需要做一次匹配查詢,這就是通過re.search('\d+',ret[0]) 來進行查詢。
2. 提取詩的標題
如上圖2展示了詩的標題的HTML原始碼,從中可以看出詩的標題被存在標籤 匹配詩的標題的正則表示式是<div class="cont">.*?(.*?)
首先還是匹配到<div class="cont"> 標籤,接著就是匹配(.*?) 這裡還是採用非貪婪模式來進行匹配。
3. 提取作者和朝代
如上圖3展示了詩的作者和朝代的HTML原始碼,從中可以看出作者和朝代都是在<p class="source"></p> 標籤下的兩個a標籤中。
3.1 提取作者
提取作者的正則表示式是<p class="sohttp://www.cppcns.comurce">.*?<a .*?>(.*?)</a> 首先還是匹配到<p class="source"> 標籤。接著就是匹配第一個<a> 標籤中的內容。
3.2 提取朝代
提取朝代的正則表示式是<p class="source">.*?<a .*?><a .*?>(.*?)</a> 與提取作者不同的是多了一個<a .*?> ,這是因為朝代在第二個<a>標籤中。
4. 提取詩的內容
如上圖4展示了詩的內容的HTML原始碼,從中可以看出詩句都在<div class="contson">標籤中,所以只需要匹配到這個標籤裡的內容即可。其正則表示式是<div class="contson" .*?>(.*?)</div>。
但是這樣匹配出來的資料是包含<br> 標籤的。所以,我們需要通過sub 方法將這個標籤替換掉。re.sub(r'<.*?>+',"",content)。
整理程式碼
至此,我們就將所有想要的資料都提取到了。接下來,我們還需要對資料進行處理。我們期望的最終資料格式是:
poems=[ { "title": '漁家傲花底忽聞敲兩槳',"author":'張三','dynasty':'唐朝','content':'xxxxxx' } { "title": '鵝鵝鵝',"author":'李四','content':'xxxxxx' } ]
前面,我們分別得到了所有標題的列表titles;所有作者的列表authors;所有朝代的列表dynastys;所有詩句的列表contents。
那麼,我們如何將這些列表組合成上面的那種形式呢?
這裡,就需要用到 zip 函數了。該函式可以將多個列表組合成一個新的列表,其中列表的元素是元組。比如:
a=['name','age'] b=['張三',18] c=zip(a,b)
呼叫zip 方法之後得到一個zip物件,該物件可以轉換成list 物件。最終得到的結果如下圖5
完整原始碼
# -*- utf-8 -*- """ @url: https://blog.csdn.net/u014534808 @Author: 碼農飛哥 @File: gushiwen_rep.py @Time: 2021/12/7 07:40 @Desc: 用正則表示式爬取古詩文網站 古詩文網站的地址: https://www.gushiwen.cn/ """ import re import requests headers = { 'user-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML,like Gecko) Chrome/96.0.4664.55 Safari/537.36' } first_url = 'https://so.gushiwen.cn/shiwens/default.aspx' def get_total_pages(): resp = requests.get(first_url) # 獲取總頁數 ret = re.findall(r'<div class="pagesright">.*?<span .*?>(.*?)</span>',ret[0]) for page_num in range(int(result.group())): url = 'https://so.gushiwen.cn/shiwens/default.aspx?page=' + str(page_num) parse_page(url) # 解析頁面 def parse_page(url): resp = requests.get(url) text = resp.text # 提取標題 (.*) 進行分組,只提取標籤中的內容,預設情況下 .不能匹配\n。加上re.DOTALL 表示.號可以匹配所有,貪婪模式 # titles = re.findall(r'<div class="cont">.*(.*)',text,re.DOTALL) # 非貪婪模式 titles = re.findall(r'<div class="cont">.*?(.*?)',re.DOTALL) # 提取作者 authors = re.findall(r'<p class="source">.*?<a .*?>(.*?)</a>',re.DOTALL) # 提取朝代 dynastys = re.findall(r'<p class="source">.*?<a .*?><a .*?>(.*?)</a>',re.DOTALL) # 提取詩句 content_tags = re.findall(r'<div class="contson" .*?>(.*?)</div>',re.DOTALL) contents = [] for content in content_tags: content = re.sub(r'<.*?>+',content) contents.append(content) poems = [] for value in zip(titles,authors,dynastys,contents): # 解包 title,author,dynasty,content = value poems.append( { "title": title,"author": author,'dynasty': dynasty,'content': content } ) print(poems) """ poems=[ { "title": '漁家傲花底忽聞敲兩槳','content':'xxxxxx' } { "title": '漁家傲花底忽聞敲兩槳','content':'xxxxxx' } ] """ """ zip 函式 a=['name',b) c=[ ('name','張三'),('age',18) ] """ if __name__ == '__main__': get_total_pages()
最終的執行結果是:
總結
本文以古詩文網為例演示瞭如何通過正則表示式來爬取網站資料。
以上就是用正則表示式實現爬取古詩文網站資訊的詳細內容,更多關於Python正則表示式爬取網站資訊的資料請關注我們其它相關文章!