Python爬蟲必學知識點：正則表示式講解
本文的文字及圖片來源於網路,僅供學習、交流使用,不具有任何商業用途,如有問題請及時聯絡我們以作處理。
以下文章一級AI入門學習 ，作者小伍哥
剛接觸Python的新手、小白，可以複製下面的連結去免費觀看Python的基礎入門教學視訊
https://v.douyu.com/author/y6AZ4jn9jwKW
前言
正則表示式（Regular Expression），就是具有一定規則的表示式。通過正則表示式引擎，將這些規則轉換為正則表示式物件，然後再去文字中搜索能夠與之匹配的字串。
正則表示式的語法都是一樣的，只是不同程式語言的實現不同，大部分都是師從Perl。
對Perl語言有所瞭解的朋友，學習python正則應該是手到擒來。
正則表示式入門
Python中的re模組提供了強大的正則表示式功能。
而第三方模組regex提供了與標準庫re模組相容的API介面, 同時還提供了額外的功能和更全面的Unicode支援。
匹配字元
大多數字母和字元只會匹配自身，例如：python只會匹配自己，不會匹配Python。
但是有一些字串，它們不表示自身，而是具有一些特殊含義，只能通過\轉義之後才表示自身。
這些字元包括：
. ^ $ * + ? { } [ ] \ | ( )
【.】
在預設模式中，匹配除換行外所有字元，如果指定了DOTALL標籤，則表示任意字元
import re """ re.findall(pattern, string, flags=0) pattern: 匹配規則，字串 string: 需要去匹配的字串 從左到右進行掃描，匹配按找到的順序返回。如果樣式裡存在一個或多個組，就返回一個組合列表""" re.findall('ab.', 'abc') # Out[1]: ['abc'] re.findall('ab.', 'ab\n') # Out[2]: [] re.findall('ab.', 'ab\n', re.DOTALL) # Out[3]: ['ab\n']
【^】
匹配字串的開頭， 如果是MULTILINE模式，匹配每行開頭(\n之後)的首個符號。
在字符集中可表示'非'，[^a]表示除字元a之外的字元。
re.findall('^ab', 'abcda\nabddd') # Out[4]: ['ab']re.findall('^ab', 'abcda\nabddd', re.MULTILINE) # Out[5]: ['ab', 'ab'] re.findall('[^a]', 'aaa\nbbb') # Out[6]: ['\n', 'b', 'b', 'b']
【$】
匹配字串的末尾，或者在字串末尾換行符的前一個字元。
在 MULTILINE 模式下匹配每行末尾(\n之前)的字元。
re.findall('ab$', 'abcdab\nabdab') # Out[7]: ['ab'] # 上面結果中的 ab 是 \n 前面的還是後面的呢？進行如下測試，發現是後面的 ab 被匹配了 re.findall('ab.$', 'abcdab1\nabdab2') # Out[8]: ['ab2'] # 在 MULTILINE 模式下，兩個都被匹配了 re.findall('ab$', 'abcdab\nabdab', re.MULTILINE) # Out[9]: ['ab', 'ab'] # 而對 $ 在換行結尾的字串中匹配時，會得到兩個空字元，一個在換行符之前，一個在字串的末尾 re.findall('$', 'abcdab1\n') # Out[10]: ['', '']
【*】
匹配前一個規則0次或無限次
re.findall('ab*', 'a') # Out[11]: ['a'] re.findall('ab*', 'ab') # Out[12] ['ab'] re.findall('ab*', 'abbbbbbbbbbbbbb') # Out[13] ['abbbbbbbbbbbbbb']
【+】
匹配前一個規則1次或無限次
re.findall('ab+', 'a') # Out[14]: [] re.findall('ab+', 'ab') # Out[15] ['ab'] re.findall('ab+', 'abbbbbbbbbbbbbb') # Out[16] ['abbbbbbbbbbbbbb']
【?】
匹配前一個規則0次或1次
re.findall('ab?', 'a') # Out[17]: ['a'] re.findall('ab?', 'ab') # Out[18] ['ab'] re.findall('ab?', 'abbbbbbbbbbbbbb') # Out[19] ['ab']
【.?,*?,??】
.,*,?修飾符都是貪婪的，會盡可能的匹配更多的字串
貪婪的我，當然是贊越多越好呀。
而在這些修飾符後面加上?，便成了非貪婪模式，會盡可能少的匹配字串
re.findall('<.*>', '<a>bcd>') # Out[20] ['<a>bcd>'] re.findall('<.*?>', '<a>bcd>') # Out[21] ['<a>']
{m}
指定前面的正則表示式出現的次數，出現次數必須完全一致。
re.findall('a{3}', 'aa') # Out[22]: [] re.findall('a{3}', 'aaaaa') # Out[23]: ['aaa']
{m, n}
指定前面的正則表示式出現的次數在m~n之間，儘可能多的匹配，匹配的下界是m，上界是n。
若預設m，下界為0，若預設n，為不設上界，即無限次。
re.findall('a{3, 5}', 'aaaa') # Out[24]: [] # 3,5 之間不能新增空格 re.findall('a{3,5}', 'aaaa') # Out[25]: ['aaaa'] re.findall('a{3,}', 'aaaa') # Out[26]: ['aaaa'] re.findall('a{,5}', 'aaaa') # Out[27] ['aaaa', '']
{m, n}?
- 即非貪婪模式，儘可能少的匹配字串。
re.findall('a{3,}?', 'aaaaa') # Out[28] ['aaa']
【\】
- 轉義特殊字元。如'\.'只表示.，而不再是表示任意字元。
- 匹配\字元需要轉義，用\\表示
re.findall('\.', 'aa') # Out[29] [] re.findall('\.', 'aa.') # Out[30] ['.']
反斜槓災難：反斜槓具有轉義作用，如果需要匹配的字串中存在多個\，就需要調加相應數量的\來轉義
re.findall('\\\\ab', '\\abc') # ['\\ab'] """ 在反覆使用反斜槓的正則中，這會導致大量重複的反斜槓， 並使得生成的字串難以理解。 解決方案: 使用 Python 的原始字串表示法來表示正則表示式； 'r' 為字首的字串，反斜槓不再表示轉義 """ re.findall(r'\\ab', '\\abc') # ['\\ab'] re.findall(r'\n', '\n') # ['\n']
[]
表示字符集集合。匹配該字元需要轉義\[,\]
# 1、單獨列出，匹配 a、b 或 c re.findall('[abc]', 'ab.') # Out[31]: ['a', 'b'] """ 2、字元範圍： [a-j]: 表示小寫字母 a~j [1-6]:表示數字 1~6 轉義: 如 [a\-z] 或者它的位置在首位或者末尾（[-a] 或 [a-]），它就只表示普通字元 '-'。 """ re.findall('[a\-z]', '-') # Out[32]: ['-'] re.findall('[-a]', '-') # Out[33]: ['-'] re.findall('[a-]', '-') # Out[34]: ['-'] """ 3、特殊字元失去特殊含義 比如 [(+*)] 只會匹配這幾個字元 '(', '+', '*', or ')'。 """ re.findall('[(+*)]', '+-*/()') # Out[35] ['+', '*', '(', ')'] """ 4、字元類 可以使用字元類：\w，\S 等，它們可以匹配的字元由 ASCII 或者 LOCALE 模式決定。 """ re.findall('[\w]', 'abfagg-/*-') # Out[36] ['a', 'b', 'f', 'a', 'g', 'g'] """ 5、取反 如果集合首字元是 '^' ，所有不在集合內的字元將會被匹配 [^^] 將匹配所有字元，除了 '^'. ^ 如果不在集合首位，就沒有特殊含義。 """ # 非 \w 定義的字母 re.findall('[^\w]', 'abfagg-/*-') # Out[37] ['-', '/', '*', '-'] """ 6、匹配字元 ']' 兩種方法 加上反斜槓 放到集合首位 """ # 加上反斜槓 re.findall('\]', 'abc]') # Out[38] [']'] # 放到集合首位 re.findall('[]{}]', ']abc') # Out[39] [']']
【|】
或。A|B，匹配正則表示式A或B，A、B可以是任何正則表示式。
如果A匹配成功，則不會再匹配B。
匹配|字元需要轉義，\|或[|]
re.findall('a|b', 'acb') # Out[40] ['a', 'b'] re.findall('[|]', 'ab|c') # Out[41] ['|']
(...)
小括號，可以組合表示式，匹配括號內的組合表示式，並標註表示式的開始和結束位置，可用於後續捕獲
每對小括號代表一個組合，可以通過\number的方式引用組合，\1表示第一個組合。
要匹配字元 ( 或者 ), 用 \( 或 \), 或者放在字元集合裡: [(], [)]。
re.findall('a(b+)', 'abbb') # Out[42] ['bbb'] 。 re.findall(r'(b)a\1', 'bab') # Out[43] ['b']