Python---獲取div標籤中的文字
阿新 • • 發佈:2019-01-31
預備知識點
compile 函式
compile 函式用於編譯正則表示式,生成一個正則表示式( Pattern )物件,供 match() 和 search() 這兩個函式使用。
語法格式為:
re.compile(pattern[, flags])
.compile(pattern[, flags])
引數:
- pattern : 一個字串形式的正則表示式
- flags 可選,表示匹配模式,比如忽略大小寫,多行模式等,具體引數為:
-
- re.I 忽略大小寫
- re.L 表示特殊字符集 \w, \W, \b, \B, \s, \S 依賴於當前環境
- re.M 多行模式
- re.S 即為' . '並且包括換行符在內的任意字元(' . '不包括換行符)
- re.U 表示特殊字符集 \w, \W, \b, \B, \d, \D, \s, \S 依賴於 Unicode 字元屬性資料庫
- re.X 為了增加可讀性,忽略空格和' # '後面的註釋
檢索和替換
Python 的re模組提供了re.sub用於替換字串中的匹配項。
語法:
re.sub(pattern, repl,string, count=0)
.sub(pattern, repl,string, count=0)
引數:
- pattern : 正則中的模式字串。
- repl : 替換的字串,也可為一個函式。
- string : 要被查詢替換的原始字串。
- count : 模式匹配後替換的最大次數,預設 0 表示替換所有的匹配。
Python中字串前面加上 r 表示原生字串, 與大多數程式語言相同,正則表示式裡使用"\"作為轉義字元,這就可能造成反斜槓困擾。假如你需要匹配文字中的字元"\",那麼使用程式語言表示的正則表示式裡將需要4個反斜槓"\\\\":前兩個和後兩個分別用於在程式語言裡轉義成反斜槓,轉換成兩個反斜槓後再在正則表示式裡轉義成一個反斜槓。Python裡的原生字串很好地解決了這個問題,這個例子中的正則表示式可以使用r"\\"表示。同樣,匹配一個數字的"\\d"可以寫成r"\d"。有了原生字串,你再也不用擔心是不是漏寫了反斜槓,寫出來的表示式也更直觀。
思路整理:
在程式設計過程中遇到的部分問題在這裡寫出來和大家共享
問題1:在程式設計過程中成功獲取了目標的名字,但是它存在於div框架中,我們要做的就是將div中的文字與標籤分開,在這裡我們用的是正則表示式
問題2:
上程式碼:
<span style="color:#000000"># -*- coding: UTF-8 -*-
import requests
import time
import re
from bs4 import BeautifulSoup
from urllib.request import urlretrieve
if __name__ == '__main__':
list_url = []
url = 'https://www.names.org/n/kevin/about'
#設定請求頭資訊
headers = {
"User-Agent":"Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36"
}
req = requests.get(url=url,headers=headers)
req.encoding='utf-8'
html=req.text
bf = BeautifulSoup(html,'html.parser')
targets_url_1 = bf.find_all(class_='container page-section')
bf = BeautifulSoup(str(targets_url_1),'html.parser')
targets_url_2 = bf.find_all(class_='name')
#儲存名字連結
for each in targets_url_2:
list_url.append(re.sub('[\t\n]',"",re.sub(r'<[^>]+>',"",str(each))))
f = open('test.txt', 'w') #首先先建立一個檔案物件,開啟方式為w
for each in list_url:
f.writelines(each) #用readlines()方法寫入檔案
f.writelines('\n')
print(list_url)
print('下載完成!')
</span>
需要下面資源的童鞋可以關注我部落格左側的微信公眾號獲取