常用模塊知識
閱讀目錄
- 認識模塊
- 什麽是模塊
- 模塊的導入和使用
- 常用模塊一
- collections模塊
- 時間模塊
- random模塊
- os模塊
- sys模塊
- 序列化模塊
- re模塊
- 常用模塊二
- hashlib模塊
- configparse模塊
- logging模塊
返回頂部
collections模塊
在內置數據類型(dict、list、set、tuple)的基礎上,collections模塊還提供了幾個額外的數據類型:Counter、deque、defaultdict、namedtuple和OrderedDict等。
1.namedtuple: 生成可以使用名字來訪問元素內容的tuple
2.deque: 雙端隊列,可以快速的從另外一側追加和推出對象
3.Counter: 計數器,主要用來計數
4.OrderedDict: 有序字典
5.defaultdict: 帶有默認值的字典
namedtuple
我們知道tuple
可以表示不變集合,例如,一個點的二維坐標就可以表示成:
>>> p = (1, 2)
但是,看到(1, 2),很難看出這個tuple是用來表示一個坐標的。
這時,namedtuple
就派上了用場:
>>> from collections import namedtuple >>> Point = namedtuple(‘Point‘, [‘x‘, ‘y‘]) >>> p = Point(1, 2) >>> p.x 1 >>> p.y 2
類似的,如果要用坐標和半徑表示一個圓,也可以用namedtuple
定義:
#namedtuple(‘名稱‘, [屬性list]): Circle = namedtuple(‘Circle‘, [‘x‘, ‘y‘, ‘r‘])
deque
使用list存儲數據時,按索引訪問元素很快,但是插入和刪除元素就很慢了,因為list是線性存儲,數據量大的時候,插入和刪除效率很低。
deque是為了高效實現插入和刪除操作的雙向列表,適合用於隊列和棧:
>>> from collections import deque >>> q = deque([‘a‘, ‘b‘, ‘c‘]) >>> q.append(‘x‘) >>> q.appendleft(‘y‘) >>> q deque([‘y‘, ‘a‘, ‘b‘, ‘c‘, ‘x‘])
deque除了實現list的append()
和pop()
外,還支持appendleft()
和popleft()
,這樣就可以非常高效地往頭部添加或刪除元素。
OrderedDict
使用dict時,Key是無序的。在對dict做叠代時,我們無法確定Key的順序。
如果要保持Key的順序,可以用OrderedDict
:
>>> from collections import OrderedDict >>> d = dict([(‘a‘, 1), (‘b‘, 2), (‘c‘, 3)]) >>> d # dict的Key是無序的 {‘a‘: 1, ‘c‘: 3, ‘b‘: 2} >>> od = OrderedDict([(‘a‘, 1), (‘b‘, 2), (‘c‘, 3)]) >>> od # OrderedDict的Key是有序的 OrderedDict([(‘a‘, 1), (‘b‘, 2), (‘c‘, 3)])
註意,OrderedDict
的Key會按照插入的順序排列,不是Key本身排序:
>>> od = OrderedDict() >>> od[‘z‘] = 1 >>> od[‘y‘] = 2 >>> od[‘x‘] = 3 >>> od.keys() # 按照插入的Key的順序返回 [‘z‘, ‘y‘, ‘x‘]
defaultdict
有如下值集合 [
11
,
22
,
33
,
44
,
55
,
66
,
77
,
88
,
99
,
90.
..],將所有大於
66
的值保存至字典的第一個key中,將小於
66
的值保存至第二個key的值中。
即: {
‘k1‘
: 大於
66
,
‘k2‘
: 小於
66
}
原生字典解決方法
defaultdict字典解決方法
使用dict
時,如果引用的Key不存在,就會拋出KeyError
。如果希望key不存在時,返回一個默認值,就可以用defaultdict
:
Counter
Counter類的目的是用來跟蹤值出現的次數。它是一個無序的容器類型,以字典的鍵值對形式存儲,其中元素作為key,其計數作為value。計數值可以是任意的Interger(包括0和負數)。Counter類和其他語言的bags或multisets很相似。
c = Counter(‘abcdeabcdabcaba‘) print c 輸出:Counter({‘a‘: 5, ‘b‘: 4, ‘c‘: 3, ‘d‘: 2, ‘e‘: 1})
其他關於Counter的內容
Counter目的是用來跟蹤值出現的次數。它是一個無序的容器類型,以字典的鍵值對形式存儲,其中元素作為key,其計數作為value。計數值可以是任意的Interger(包括0和負數)。Counter類和其他語言的bags或multisets很相似。
創建
下面的代碼說明了Counter類創建的四種方法:
Counter類的創建>>> c = Counter() # 創建一個空的Counter類 >>> c = Counter(‘gallahad‘) # 從一個可iterable對象(list、tuple、dict、字符串等)創建 >>> c = Counter({‘a‘: 4, ‘b‘: 2}) # 從一個字典對象創建 >>> c = Counter(a=4, b=2) # 從一組鍵值對創建
計數值的訪問與缺失的鍵
當所訪問的鍵不存在時,返回0,而不是KeyError;否則返回它的計數。
計數值的訪問>>> c = Counter("abcdefgab") >>> c["a"] 2 >>> c["c"] 1 >>> c["h"] 0
計數器的更新(update和subtract)
可以使用一個iterable對象或者另一個Counter對象來更新鍵值。
計數器的更新包括增加和減少兩種。其中,增加使用update()方法:
計數器的更新(update)>>> c = Counter(‘which‘) >>> c.update(‘witch‘) # 使用另一個iterable對象更新 >>> c[‘h‘] 3 >>> d = Counter(‘watch‘) >>> c.update(d) # 使用另一個Counter對象更新 >>> c[‘h‘] 4
減少則使用subtract()方法:
計數器的更新(subtract)>>> c = Counter(‘which‘) >>> c.subtract(‘witch‘) # 使用另一個iterable對象更新 >>> c[‘h‘] 1 >>> d = Counter(‘watch‘) >>> c.subtract(d) # 使用另一個Counter對象更新 >>> c[‘a‘] -1
鍵的修改和刪除
當計數值為0時,並不意味著元素被刪除,刪除元素應當使用del
。
>>> c = Counter("abcdcba") >>> c Counter({‘a‘: 2, ‘c‘: 2, ‘b‘: 2, ‘d‘: 1}) >>> c["b"] = 0 >>> c Counter({‘a‘: 2, ‘c‘: 2, ‘d‘: 1, ‘b‘: 0}) >>> del c["a"] >>> c Counter({‘c‘: 2, ‘b‘: 2, ‘d‘: 1})
elements()
返回一個叠代器。元素被重復了多少次,在該叠代器中就包含多少個該元素。元素排列無確定順序,個數小於1的元素不被包含。
elements()方法>>> c = Counter(a=4, b=2, c=0, d=-2) >>> list(c.elements()) [‘a‘, ‘a‘, ‘a‘, ‘a‘, ‘b‘, ‘b‘]
most_common([n])
返回一個TopN列表。如果n沒有被指定,則返回所有元素。當多個元素計數值相同時,排列是無確定順序的。
most_common()方法>>> c = Counter(‘abracadabra‘) >>> c.most_common() [(‘a‘, 5), (‘r‘, 2), (‘b‘, 2), (‘c‘, 1), (‘d‘, 1)] >>> c.most_common(3) [(‘a‘, 5), (‘r‘, 2), (‘b‘, 2)]
淺拷貝copy
淺拷貝copy>>> c = Counter("abcdcba") >>> c Counter({‘a‘: 2, ‘c‘: 2, ‘b‘: 2, ‘d‘: 1}) >>> d = c.copy() >>> d Counter({‘a‘: 2, ‘c‘: 2, ‘b‘: 2, ‘d‘: 1})
算術和集合操作
+、-、&、|操作也可以用於Counter。其中&和|操作分別返回兩個Counter對象各元素的最小值和最大值。需要註意的是,得到的Counter對象將刪除小於1的元素。
Counter對象的算術和集合操作>>> c = Counter(a=3, b=1) >>> d = Counter(a=1, b=2) >>> c + d # c[x] + d[x] Counter({‘a‘: 4, ‘b‘: 3}) >>> c - d # subtract(只保留正數計數的元素) Counter({‘a‘: 2}) >>> c & d # 交集: min(c[x], d[x]) Counter({‘a‘: 1, ‘b‘: 1}) >>> c | d # 並集: max(c[x], d[x]) Counter({‘a‘: 3, ‘b‘: 2})
其他常用操作
下面是一些Counter類的常用操作,來源於Python官方文檔
Counter類常用操作sum(c.values()) # 所有計數的總數 c.clear() # 重置Counter對象,註意不是刪除 list(c) # 將c中的鍵轉為列表 set(c) # 將c中的鍵轉為set dict(c) # 將c中的鍵值對轉為字典 c.items() # 轉為(elem, cnt)格式的列表 Counter(dict(list_of_pairs)) # 從(elem, cnt)格式的列表轉換為Counter類對象 c.most_common()[:-n:-1] # 取出計數最少的n個元素 c += Counter() # 移除0和負值
正則表達式:
一說規則我已經知道你很暈了,現在就讓我們先來看一些實際的應用。在線測試工具 http://tool.chinaz.com/regex/
在這裏我們要知道的是,講到正則就只和字符串相關了,你們輸入的每一個字都是字符串
還有一種情況是不用規則的,那就是在一個位置的一個值,就不用去規則了(比如用1去匹配1,或者用2去匹配2)
然而我們考慮的是在同一個位置上可以出現的字符範圍
字符組 : [字符組] 在同一個位置可能出現的各種字符組成了一個字符組,在正則表達式中用[]表示 字符分為很多類,比如數字、字母、標點等等。 假如你現在要求一個位置"只能出現一個數字",那麽這個位置上的字符只能是0、1、2...9這10個數之一。
正則 |
待匹配字符 |
匹配 |
說明 |
[0123456789] |
8 |
True |
在一個字符組裏枚舉合法的所有字符,字符組裏的任意一個字符 |
[0123456789] |
a |
False |
由於字符組中沒有"a"字符,所以不能匹配 |
[0-9] |
7 |
True |
也可以用-表示範圍,[0-9]就和[0123456789]是一個意思 |
[a-z] |
s |
True |
同樣的如果要匹配所有的小寫字母,直接用[a-z]就可以表示 |
[A-Z] |
B |
True |
[A-Z]就表示所有的大寫字母 |
[0-9][a-f][A-F] |
e |
True |
可以匹配數字,大小寫形式的a~f,用來驗證十六進制字符 |
字符:
元字符 |
匹配內容 |
. | 匹配除換行符以外的任意字符 |
\w | 匹配字母或數字或下劃線 |
\s | 匹配任意的空白符 |
\d | 匹配數字 |
\n | 匹配一個換行符 |
\t | 匹配一個制表符 |
\b | 匹配一個單詞的結尾 |
^ | 匹配字符串的開始 |
$ | 匹配字符串的結尾 |
\W |
匹配非字母或數字或下劃線 |
\D |
匹配非數字 |
\S |
匹配非空白符 |
a|b |
匹配字符a或字符b |
() |
匹配括號內的表達式,也表示一個組 |
[...] |
匹配字符組中的字符 |
[^...] |
匹配除了字符組中字符的所有字符 |
量詞:
量詞 |
用法說明 |
* | 重復零次或更多次 |
+ | 重復一次或更多次 |
? | 重復零次或一次 |
{n} | 重復n次 |
{n,} | 重復n次或更多次 |
{n,m} | 重復n到m次 |
. ^ $
正則 | 待匹配字符 | 匹配 結果 |
說明 |
海. | 海燕海嬌海東 | 海燕海嬌海東 | 匹配所有"海."的字符 |
^海. | 海燕海嬌海東 | 海燕 | 只從開頭匹配"海." |
海.$ | 海燕海嬌海東 | 海東 | 只匹配結尾的"海.$" |
* + ? { }
正則 | 待匹配字符 | 匹配 結果 |
說明 |
李.? | 李傑和李蓮英和李二棍子 |
李傑 |
?表示重復零次或一次,即只匹配"李"後面一個任意字符 |
李.* | 李傑和李蓮英和李二棍子 | 李傑和李蓮英和李二棍子 |
*表示重復零次或多次,即匹配"李"後面0或多個任意字符 |
李.+ | 李傑和李蓮英和李二棍子 | 李傑和李蓮英和李二棍子 |
+表示重復一次或多次,即只匹配"李"後面1個或多個任意字符 |
李.{1,2} | 李傑和李蓮英和李二棍子 |
李傑和 |
{1,2}匹配1到2次任意字符 |
註意:前面的*,+,?等都是貪婪匹配,也就是盡可能匹配,後面加?號使其變成惰性匹配
正則 | 待匹配字符 | 匹配 結果 |
說明 |
李.*? | 李傑和李蓮英和李二棍子 | 李傑 李蓮 李二 |
惰性匹配 |
字符集[][^]
正則 | 待匹配字符 | 匹配 結果 |
說明 |
李[傑蓮英二棍子]* | 李傑和李蓮英和李二棍子 |
李傑 |
表示匹配"李"字後面[傑蓮英二棍子]的字符任意次 |
李[^和]* | 李傑和李蓮英和李二棍子 |
李傑 |
表示匹配一個不是"和"的字符任意次 |
[\d] | 456bdha3 |
4 |
表示匹配任意一個數字,匹配到4個結果 |
[\d]+ | 456bdha3 |
456 |
表示匹配任意個數字,匹配到2個結果 |
分組 ()與 或 |[^]
身份證號碼是一個長度為15或18個字符的字符串,如果是15位則全部???數字組成,首位不能為0;如果是18位,則前17位全部是數字,末位可能是數字或x,下面我們嘗試用正則來表示:
正則 | 待匹配字符 | 匹配 結果 |
說明 |
^[1-9]\d{13,16}[0-9x]$ | 110101198001017032 |
110101198001017032 |
表示可以匹配一個正確的身份證號 |
^[1-9]\d{13,16}[0-9x]$ | 1101011980010170 |
1101011980010170 |
表示也可以匹配這串數字,但這並不是一個正確的身份證號碼,它是一個16位的數字 |
^[1-9]\d{14}(\d{2}[0-9x])?$ | 1101011980010170 |
False |
現在不會匹配錯誤的身份證號了 |
^([1-9]\d{16}[0-9x]|[1-9]\d{14})$ | 110105199812067023 |
110105199812067023 |
表示先匹配[1-9]\d{16}[0-9x]如果沒有匹配上就匹配[1-9]\d{14} |
轉義符 \
在正則表達式中,有很多有特殊意義的是元字符,比如\d和\s等,如果要在正則中匹配正常的"\d"而不是"數字"就需要對"\"進行轉義,變成‘\\‘。
在python中,無論是正則表達式,還是待匹配的內容,都是以字符串的形式出現的,在字符串中\也有特殊的含義,本身還需要轉義。所以如果匹配一次"\d",字符串中要寫成‘\\d‘,那麽正則裏就要寫成"\\\\d",這樣就太麻煩了。這個時候我們就用到了r‘\d‘這個概念,此時的正則是r‘\\d‘就可以了。
正則 | 待匹配字符 | 匹配 結果 |
說明 |
\d | \d | False |
因為在正則表達式中\是有特殊意義的字符,所以要匹配\d本身,用表達式\d無法匹配 |
\\d | \d | True |
轉義\之後變成\\,即可匹配 |
"\\\\d" | ‘\\d‘ | True |
如果在python中,字符串中的‘\‘也需要轉義,所以每一個字符串‘\‘又需要轉義一次 |
r‘\\d‘ | r‘\d‘ | True |
在字符串之前加r,讓整個字符串不轉義 |
貪婪匹配
貪婪匹配:在滿足匹配時,匹配盡可能長的字符串,默認情況下,采用貪婪匹配
正則 | 待匹配字符 | 匹配 結果 |
說明 |
<.*> |
<script>...<script> |
<script>...<script> |
默認為貪婪匹配模式,會匹配盡量長的字符串 |
<.*?> | r‘\d‘ |
<script> |
加上?為將貪婪匹配模式轉為非貪婪匹配模式,會匹配盡量短的字符串 |
幾個常用的非貪婪匹配Pattern
*? 重復任意次,但盡可能少重復 +? 重復1次或更多次,但盡可能少重復 ?? 重復0次或1次,但盡可能少重復 {n,m}? 重復n到m次,但盡可能少重復 {n,}? 重復n次以上,但盡可能少重復
.*?的用法
. 是任意字符 * 是取 0 至 無限長度 ? 是非貪婪模式。 何在一起就是 取盡量少的任意字符,一般不會這麽單獨寫,他大多用在: .*?x 就是取前面任意長度的字符,直到一個x出現
re模塊下的常用方法(一定要記住的)
import re
ret = re.findall(‘a‘, ‘eva egon yuan‘) # 返回所有滿足匹配條件的結果,放在列表裏
print(ret) #結果 : [‘a‘, ‘a‘]
ret = re.search(‘a‘, ‘eva egon yuan‘).group()
print(ret) #結果 : ‘a‘
# 函數會在字符串內查找模式匹配,只到找到第一個匹配然後返回一個包含匹配信息的對象,該對象可以
# 通過調用group()方法得到匹配的字符串,如果字符串沒有匹配,則返回None。
ret = re.match(‘a‘, ‘abc‘).group() # 同search,不過盡在字符串開始處進行匹配
print(ret)
#結果 : ‘a‘
ret = re.split(‘[ab]‘, ‘abcd‘) # 先按‘a‘分割得到‘‘和‘bcd‘,在對‘‘和‘bcd‘分別按‘b‘分割
print(ret) # [‘‘, ‘‘, ‘cd‘]
ret = re.sub(‘\d‘, ‘H‘, ‘eva3egon4yuan4‘, 1)#將數字替換成‘H‘,參數1表示只替換1個
print(ret) #evaHegon4yuan4
ret = re.subn(‘\d‘, ‘H‘, ‘eva3egon4yuan4‘)#將數字替換成‘H‘,返回元組(替換的結果,替換了多少次)
print(ret)
obj = re.compile(‘\d{3}‘) #將正則表達式編譯成為一個 正則表達式對象,規則要匹配的是3個數字
ret = obj.search(‘abc123eeee‘) #正則表達式對象調用search,參數為待匹配的字符串
print(ret.group()) #結果 : 123
import re
ret = re.finditer(‘\d‘, ‘ds3sy4784a‘) #finditer返回一個存放匹配結果的叠代器
print(ret) # <callable_iterator object at 0x10195f940>
print(next(ret).group()) #查看第一個結果
print(next(ret).group()) #查看第二個結果
print([i.group() for i in ret]) #查看剩余的左右結果
註意:
1 findall的優先級查詢:
import re ret = re.findall(‘www.(baidu|oldboy).com‘, ‘www.oldboy.com‘) print(ret) # [‘oldboy‘] 這是因為findall會優先把匹配結果組裏內容返回,如果想要匹配結果,取消權限即可 ret = re.findall(‘www.(?:baidu|oldboy).com‘, ‘www.oldboy.com‘) print(ret) # [‘www.oldboy.com‘]
2 split的優先級查詢
ret=re.split("\d+","eva3egon4yuan") print(ret) #結果 : [‘eva‘, ‘egon‘, ‘yuan‘] ret=re.split("(\d+)","eva3egon4yuan") print(ret) #結果 : [‘eva‘, ‘3‘, ‘egon‘, ‘4‘, ‘yuan‘]
#在匹配部分加上()之後所切出的結果是不同的, #沒有()的沒有保留所匹配的項,但是有()的卻能夠保留了匹配的項, #這個在某些需要保留匹配部分的使用過程是非常重要的。
常用模塊知識