day023正則表示式，re模組，簡單爬蟲和多頁面爬蟲（幹掉數字簽名證書驗證）
阿新 • • 發佈：2018-11-16
本節內容：
1、正則表示式
2、re模組的運用
3、簡單的爬蟲練習一、正則表示式(Regular Expression)
正則表示式是對字串操作的⼀種邏輯公式. 我們⼀般使⽤正則表示式對字串進⾏匹配和過濾. 使⽤正則的優缺點:
優點: 靈活, 功能性強, 邏輯性強.
缺點: 上⼿難. ⼀旦上⼿, 會愛上這個東⻄
⼯具: 各⼤⽂本編輯器⼀般都有正則匹配功能. 我們也可以去
http://tool.chinaz.com/regex/進⾏線上測試.1、元字元: 元字元才是正則表示式的靈魂.
元字元中的內容太多了, 在這⾥只介紹⼀些常⽤的.2、字元組
字元組很簡單⽤[]括起來. 在[]中出現的內容會被匹配. 例如:[abc] 匹配a或b或c 如果字元組中的內容過多還可以使⽤- , 例如: [a-z] 匹配a到z之間的所有字⺟ [0-9]匹配所有阿拉伯數字 思考: [a-zA-Z0-9]匹配的是什麼?
3、簡單的元字元
基本的元字元. 這個東⻄⽹上⼀搜⼀⼤堆. 但是常⽤的就那麼⼏個:. 匹配除換⾏符以外的任意字元
\w 匹配字⺟或數字或下劃線
\s 匹配任意的空⽩符
\d 匹配數字
\n 匹配⼀個換⾏符
\t 匹配⼀個製表符
\b 匹配⼀個單詞的結尾
^ 匹配字串的開始
$ 匹配字串的結尾
\W 匹配⾮字⺟或數字或下劃線
\D 匹配⾮數字
\S 匹配⾮空⽩符
a|b 匹配字元a或字元b
() 匹配括號內的表示式，也表示⼀個組
[...] 匹配字元組中的字元
[^...] 匹配除了字元組中字元的所有字元4、量詞
如何⼀次性匹配很多個字元呢,我們要⽤到量詞
* 重複零次或更多次 + 重複⼀次或更多次 ? 重複零次或⼀次 {n} 重複n次 {n,} 重複n次或更多次 {n,m} 重複n到m次
5、惰性匹配和貪婪匹配
在量詞中的*, +,{} 都屬於貪婪匹配. 就是儘可能多的匹配到結果.
str: 麻花藤昨天讓英雄聯盟關服了
reg: 麻花藤.*
此時匹配的是整句話
如果.*後面跟東西，就是儘可能的到後面的東西匹配
在使⽤.*後⾯加了, 則是儘可能的少匹配. 表⽰惰性匹配
str: 麻花藤昨天讓英雄聯盟關服了 reg: 麻花藤.*? 此時匹配的是 麻花藤 str: <div>胡辣湯</div> reg: <.*> 結果: <div>胡辣湯</div> str: <div>胡辣湯</div> reg: <.*?> 結果: <div> </div> str: <div>胡辣湯</div> reg: <(div|/div*)?> 結果: <div> </div>
.*?x的特殊含義 找到下⼀個x為⽌.
str: abcdefgxhijklmn
reg: .*?x
結果:abcdefgx6、正則分組
在正則中使⽤()進⾏分組.
老的⾝份證號有15位. 新的⾝份證號有18位. 並且新的⾝份證號結尾有可能是x.^[1-9]\d{14}(\d{2}[0-9x])?$
^([1-9]\d{16}[0-9x]|[1-9]\d{14})$7、轉義
在正則表示式中, 有很多有特殊意義的是元字元,
⽐如\n和\s等,如果要在正則中匹配正常的"\n"⽽不是"換⾏符"就需要對"\"進⾏轉義, 變成'\\'.
在python中, ⽆論是正則表示式, 還是待匹配的內容, 都是以字串的形式出現的,
在字串中\也有特殊的含義, 本身還需要轉義. 所以如果匹配⼀次"\n", 字串中要寫成'\\n', 那麼正則⾥就要寫成"\\\\n",這樣就太麻煩了.這個時候我們就⽤到了r’\n’這個概念, 此時的正則是r’\n’就可以了.
二、re模組
1、search
search 會進⾏匹配. 但是如果匹配到了第⼀個結果. 就會返回這個結果. 如果匹配不上search返回的則是Nonefe: 找到第一個就返回，找不到就返回None
search 查詢，找到就返回，找不到就None
res = re.search("e", "i have a dream.") print(res.group()).2、match
只能從字串的開頭進⾏匹配fe:
# match 從頭匹配，如果匹配到了，就返回
res = re.match("\w+", "alex is a oldboy") print(res.group()) # alex3、findall
查詢所有. 返回listfe:
lst = re.findall("\w+", "alex is a oldboy") print(lst) # ['alex', 'is', 'a', 'oldboy'] 找到所有4、 finditer
和findall差不多. 只不過這時返回的是迭代器fe:
it = re.finditer("\w+", "i have a dream") print(it) # 迭代器 <callable_iterator object at 0x000002C7B07A7DD8> for el in it: print(el.group()) # 依然需要分組5、分組
（）優先順序
（？：xxx）去掉優先順序，匹配全部（）這個分組是優先順序
lst = re.findall(r"www\.(baidu|oldboy)\.com","www.baidu.com") # 優先括號裡面的，匹配 print(lst) # ['baidu']##### (？:) 去掉優先順序
lst = re.findall(r"www\.(?:baidu|oldboy)\.com", "www.baidu.com") # 去掉優先順序 print(lst) # ['www.baidu.com']6、其他操作
ret = re.split('[ab]', 'qwerafjbcd') # 先按'a'分割得到'qwer'和'fjbcd',在對'qwer'和'fjbcd'分別按'b'分割 print(ret) # ['qwer', 'fj', 'cd'] # 替換 ret = re.sub(r"\d+", "_sb_", "alex250taibai250wusir250ritian38") # 把字串中的數字換成__sb__ print(ret) # alex_sb_taibai_sb_wusir_sb_ritian_sb_ # 替換， 返回的結果，帶有次數 ret = re.subn(r"\d+", "_sb_", "alex250taibai250wusir250ritian38") # 將數字替換成'__sb__'，返回元組(替換的結果,替換了多少次) print(ret) # ('alex_sb_taibai_sb_wusir_sb_ritian_sb_', 4) obj = re.compile(r'\d{3}') # 將正則表示式編譯成為⼀個 正則表示式物件, 規則要匹配的是3個數字 ret = obj.search('abc123eeee') # 正則表示式物件調⽤search, 引數為待匹配的字串 print(ret.group()) # 結果: 1238、爬蟲重點
obj = re.compile(r'(?P<id>\d+)(?P<name>e+)') # 從正則表示式匹配的內容每個組起名字 ret = obj.search('abc123eeee') # 搜尋 print(ret.group()) # 結果: 123eeee print(ret.group("id")) # 結果: 123 # 獲取id組的內容 print(ret.group("name")) # 結果: eeee # 獲取name組的內容9、兩個坑，分組優先順序，和split的切割
坑1：注意: 在re模組中和我們線上測試⼯具中的結果可能是不⼀樣的.
ret = re.findall('www.(baidu|oldboy).com', 'www.oldboy.com') print(ret) # ['oldboy'] 這是因為findall會優先把匹配結果組⾥內容返回,如果想要匹配結果,取消許可權即可 ret = re.findall('www.(?:baidu|oldboy).com', 'www.oldboy.com') print(ret) # ['www.oldboy.com']坑2：split⾥也有⼀個坑
ret=re.split("\d+","eva3egon4yuan") print(ret) #結果 ： ['eva', 'egon', 'yuan'] ret=re.split("(\d+)","eva3egon4yuan") print(ret) #結果 ： ['eva', '3', 'egon', '4', 'yuan'] #在匹配部分加上（）之後所切出的結果是不同的， #沒有（）的沒有保留所匹配的項，但是有（）的卻能夠保留了匹配的項， #這個在某些需要保留匹配部分的使⽤過程是⾮常重要的。lst = re.split("[ab]", "alex is a good man and have big bande") print(lst) # 跟平時切割的效果一樣 lst = re.split("([ab])", "alex is a good man and have big bande") # 會保留你切割位置的東西 print(lst) # ['', 'a', 'lex is ', 'a', ' good m', 'a', 'n ', 'a', 'nd h', 'a', 've ', 'b', 'ig ', 'b', '', 'a', 'nde'] 三、簡單爬蟲練習
（）這種優先順序的問題有時候會幫我們完成很多功能.fe1: 來看⼀個比較複雜的例⼦,
內含幹掉數字簽名證書的方法：
import re
from urllib.request import urlopen
import ssl # ⼲掉數字簽名證書 ssl._create_default_https_context = ssl._create_unverified_context def getPage(url): response = urlopen(url) return response.read().decode('utf-8') def parsePage(s): ret = re.findall( '<div class="item">.*?<div class="pic">.*?<em .*?>(?P<id>\d+).*? <span class="title">(?P<title>.*?)</span>' '.*?<span class="rating_num" .*?>(?P<rating_num>.*?)</span>.*?<span> (?P<comment_num>.*?)評價</span>', s, re.S) return ret def main(num): url = 'https://movie.douban.com/top250?start=%s&filter=' % num response_html = getPage(url) ret = parsePage(response_html) print(ret) count = 0 for i in range(10): # 10⻚ main(count) count += 25fe2: 簡單的爬蟲
from urllib import request
import re
url = "https://www.dytt8.net/html/gndy/dyzz/20181114/57791.html" # 拿到爬的連結 content = request.urlopen(url).read().decode("gbk") # 讀取連結的json # print(content) obj = re.compile(r'<div id="Zoom">.*?◎譯 名(?P<yiming>.*?)<br />◎片 名(?P<pianming>.*?)<br />◎年 代.*?(?P<nianfen>.*?)<br />' r'.*?<td style="WORD-WRAP: break-word" bgcolor="#fdfddf"><a href="(?P<url>.*?)">', re.S) # re.S去掉，.的換行 res = obj.search(content) print(res.group("yiming")) print(res.group("pianming")) print(res.group("nianfen")) print(res.group("url"))fe3：多個分頁資訊的爬蟲
from urllib.request import urlopen
import re
obj = re.compile(r'<div class="item">.*?<spanclass="title">(?P<name>.*?)</span>.*?導演: (?P<daoyan>.*?) .*?<span class="rating_num" property="v:average">(?P<fen>.*?)</span>.*?<span>(?P<ren>.*?)人評價</span>', re.S) def getContent(url): content = urlopen(url).read().decode("utf-8") return content def parseContent(content): it = obj.finditer(content) # 把頁面中所有匹配的內容進行匹配. 返回迭代器 for el in it: yield { "name":el.group("name"), "daoyan":el.group("daoyan"), "ren":el.group("ren"), "fen":el.group("fen") } for i in range(10): url = "https://movie.douban.com/top250?start=%s&filter=" % i*25 g = parseContent(getContent(url)) f = open("movie.txt", mode="a", encoding="utf-8") for el in g: f.write(str(el)+"\n") f.close()