你可能不知道的Python 技巧小結
譯者 | 豌豆花下貓
宣告 :本文獲得原作者授權翻譯,轉載請保留原文出處,請勿用於商業或非法用途。
有許許多多文章寫了 Python 中的許多很酷的特性,例如變數解包、偏函式、列舉可迭代物件,但是關於 Python 還有很多要討論的話題,因此在本文中,我將嘗試展示一些我知道的和在使用的,但很少在其它文章提到過的特性。那就開始吧。
1、對輸入的字串“消毒”
對使用者輸入的內容“消毒”,這問題幾乎適用於你編寫的所有程式。通常將字元轉換為小寫或大寫就足夠了,有時你還可以使用正則表示式來完成工作,但是對於複雜的情況,還有更好的方法:
user_input = "This\nstring has\tsome whitespaces...\r\n" character_map = { ord('\n') : ' ',ord('\t') : ' ',ord('\r') : None } user_input.translate(character_map) # This string has some whitespaces... "
在此示例中,你可以看到空格字元“ \n”和“ \t”被單個空格替換了,而“ \r”則被完全刪除。這是一個簡單的示例,但是我們可以更進一步,使用unicodedata
庫及其 combining()
函式,來生成更大的重對映表(remapping table),並用它來刪除字串中所有的重音。
2、對迭代器切片
如果你嘗試直接對迭代器切片,則會得到 TypeError ,提示說該物件不可取下標(not subscriptable),但是有一個簡單的解決方案:
import itertools s = itertools.islice(range(50),10,20) # <itertools.islice object at 0x7f70fab88138> for val in s: ...
使用itertools.islice
,我們可以建立一個 islice 物件,該物件是一個迭代器,可以生成我們所需的內容。但是這有個重要的提醒,即它會消耗掉切片前以及切片物件 islice 中的所有元素。
(譯註:更多關於迭代器切片的內容,可閱讀 Python進階:迭代器與迭代器切片)
3、跳過可迭代物件的開始
有時候你必須處理某些檔案,它們以可變數量的不需要的行(例如註釋)為開頭。 itertools 再次提供了簡單的解決方案:
string_from_file = """ // Author: ... // License: ... // // Date: ... Actual content... """ import itertools for line in itertools.dropwhile(lambda line:line.startswith("//"),string_from_file.split("\n")): print(line)
這段程式碼僅會列印在初始的註釋部分之後的內容。如果我們只想丟棄迭代器的開頭部分(在此例中是註釋),並且不知道有多少內容,那麼此方法很有用。
4、僅支援關鍵字引數(kwargs)的函式
當需要函式提供(強制)更清晰的引數時,建立僅支援關鍵字引數的函式,可能會挺有用:
def test(*,a,b): pass test("value for a","value for b") # TypeError: test() takes 0 positional arguments... test(a="value",b="value 2") # Works...
如你所見,可以在關鍵字引數之前,放置單個 * 引數來輕鬆解決此問題。如果我們將位置引數放在 * 引數之前,則顯然也可以有位置引數。
5、建立支援 with 語句的物件
我們都知道如何使用 with 語句,例如開啟檔案或者是獲取鎖,但是我們可以實現自己的麼?是的,我們可以使用__enter__ 和__exit__ 方法來實現上下文管理器協議:
class Connection: def __init__(self): ... def __enter__(self): # Initialize connection... def __exit__(self,type,value,traceback): # Close connection... with Connection() as c: # __enter__() executes ... # conn.__exit__() executes
這是在 Python 中實現上下文管理的最常見方法,但是還有一種更簡單的方法:
from contextlib import contextmanager @contextmanager def tag(name): print(f"<{name}>") yield print(f"</{name}>") with tag("h1"): print("This is Title.")
上面的程式碼段使用 contextmanager 裝飾器實現了內容管理協議。tag 函式的第一部分(yield 之前)會在進入 with 語句時執行,然後執行 with 的程式碼塊,最後會執行 tag 函式的剩餘部分。
6、用__slots__節省記憶體
如果你曾經編寫過一個程式,該程式建立了某個類的大量例項,那麼你可能已經注意到你的程式突然就需要大量記憶體。那是因為 Python 使用字典來表示類例項的屬性,這能使其速度變快,但記憶體不是很高效。通常這不是個問題,但是,如果你的程式遇到了問題,你可以嘗試使用__slots__ :
class Person: __slots__ = ["first_name","last_name","phone"] def __init__(self,first_name,last_name,phone): self.first_name = first_name self.last_name = last_name self.phone = phone
這裡發生的是,當我們定義__slots__屬性時,Python 使用固定大小的小型陣列,而不是字典,這大大減少了每個例項所需的記憶體。使用__slots__還有一些缺點——我們無法宣告任何新的屬性,並且只能使用在__slots__中的屬性。同樣,帶有__slots__的類不能使用多重繼承。
7、限制CPU和記憶體使用量
如果不是想優化程式記憶體或 CPU 使用率,而是想直接將其限制為某個固定數字,那麼 Python 也有一個庫能做到:
import signal import resource import os # To Limit CPU time def time_exceeded(signo,frame): print("CPU exceeded...") raise SystemExit(1) def set_max_runtime(seconds): # Install the signal handler and set a resource limit soft,hard = resource.getrlimit(resource.RLIMIT_CPU) resource.setrlimit(resource.RLIMIT_CPU,(seconds,hard)) signal.signal(signal.SIGXCPU,time_exceeded) # To limit memory usage def set_max_memory(size): soft,hard = resource.getrlimit(resource.RLIMIT_AS) resource.setrlimit(resource.RLIMIT_AS,(size,hard))
在這裡,我們可以看到兩個選項,可設定最大 CPU 執行時間和記憶體使用上限。對於 CPU 限制,我們首先獲取該特定資源(RLIMIT_CPU)的軟限制和硬限制,然後通過引數指定的秒數和先前獲取的硬限制來設定它。最後,如果超過 CPU 時間,我們將註冊令系統退出的訊號。至於記憶體,我們再次獲取軟限制和硬限制,並使用帶有 size 引數的setrlimit 和獲取的硬限制對其進行設定。
8、控制可以import的內容
某些語言具有非常明顯的用於匯出成員(變數、方法、介面)的機制,例如Golang,它僅匯出以大寫字母開頭的成員。另一方面,在 Python 中,所有內容都會被匯出,除非我們使用__all__ :
def foo(): pass def bar(): pass __all__ = ["bar"]
使用上面的程式碼段,我們可以限制from some_module import * 在使用時可以匯入的內容。對於以上示例,通配匯入時只會匯入 bar。此外,我們可以將__all__ 設為空,令其無法匯出任何東西,並且在使用萬用字元方式從此模組中匯入時,將引發 AttributeError。
9、比較運算子的簡便方法
為一個類實現所有比較運算子可能會很煩人,因為有很多的比較運算子——__lt__、__le__、__gt__ 或__ge__。但是,如果有更簡單的方法呢?functools.total_ordering 可救場:
from functools import total_ordering @total_ordering class Number: def __init__(self,value): self.value = value def __lt__(self,other): return self.value < other.value def __eq__(self,other): return self.value == other.value print(Number(20) > Number(3)) print(Number(1) < Number(5)) print(Number(15) >= Number(15)) print(Number(10) <= Number(2))
這到底如何起作用的?total_ordering 裝飾器用於簡化為我們的類例項實現排序的過程。只需要定義__lt__ 和__eq__,這是最低的要求,裝飾器將對映剩餘的操作——它為我們填補了空白。
( 譯註: 原作者的文章分為兩篇,為了方便讀者們閱讀,我特將它們整合在一起,以下便是第二篇的內容。)
10、使用slice函式命名切片
使用大量硬編碼的索引值會很快搞亂維護性和可讀性。一種做法是對所有索引值使用常量,但是我們可以做得更好:
# ID First Name Last Name line_record = "2 John Smith" ID = slice(0,8) FIRST_NAME = slice(9,21) LAST_NAME = slice(22,27) name = f"{line_record[FIRST_NAME].strip()} {line_record[LAST_NAME].strip()}" # name == "John Smith"
在此例中,我們可以避免神祕的索引,方法是先使用 slice 函式命名它們,然後再使用它們。你還可以通過 .start、.stop和 .stop 屬性,來了解 slice 物件的更多資訊。
11、在執行時提示使用者輸入密碼
許多命令列工具或指令碼需要使用者名稱和密碼才能操作。因此,如果你碰巧寫了這樣的程式,你可能會發現 getpass 模組很有用:
import getpass user = getpass.getuser() password = getpass.getpass() # Do Stuff...
這個非常簡單的包通過提取當前使用者的登入名,可以提示使用者輸入密碼。但是須注意,並非每個系統都支援隱藏密碼。Python 會嘗試警告你,因此切記在命令列中閱讀警告資訊。
12、查詢單詞/字串的相近匹配
現在,關於 Python 標準庫中一些晦澀難懂的特性。如果你發現自己需要使用Levenshtein distance 【2】之類的東西,來查詢某些輸入字串的相似單詞,那麼 Python 的 difflib 會為你提供支援。
import difflib difflib.get_close_matches('appel',['ape','apple','peach','puppy'],n=2) # returns ['apple','ape']
difflib.get_close_matches 會查詢最佳的“足夠好”的匹配。在這裡,第一個引數與第二個引數匹配。我們還可以提供可選引數 n ,該引數指定要返回的最多匹配結果。另一個可選的關鍵字引數 cutoff (預設值為 0.6),可以設定字串匹配得分的閾值。
13、使用IP地址
如果你必須使用 Python 做網路開發,你可能會發現 ipaddress 模組非常有用。一種場景是從 CIDR(無類別域間路由 Classless Inter-Domain Routing)生成一系列 IP 地址:
import ipaddress net = ipaddress.ip_network('74.125.227.0/29') # Works for IPv6 too # IPv4Network('74.125.227.0/29') for addr in net: print(addr) # 74.125.227.0 # 74.125.227.1 # 74.125.227.2 # 74.125.227.3 # ...
另一個不錯的功能是檢查 IP 地址的網路成員資格:
ip = ipaddress.ip_address("74.125.227.3") ip in net # True ip = ipaddress.ip_address("74.125.227.12") ip in net # False
還有很多有趣的功能,在這裡【3】可以找到,我不再贅述。但是請注意,ipaddress 模組和其它與網路相關的模組之間只有有限的互通性。例如,你不能將 IPv4Network 例項當成地址字串——需要先使用 str 轉換它們。
14、在Shell中除錯程式崩潰
如果你是一個拒絕使用 IDE,並在 Vim 或 Emacs 中進行編碼的人,那麼你可能會遇到這樣的情況:擁有在 IDE 中那樣的偵錯程式會很有用。
你知道嗎?你有一個——只要用python3.8 -i 執行你的程式——一旦你的程式終止了, -i 會啟動互動式 shell,在那你可以檢視所有的變數和呼叫函式。整潔,但是使用實際的偵錯程式(pdb )會如何呢?讓我們用以下程式(script.py ):
def func(): return 0 / 0 func()
並使用python3.8 -i script.py
執行指令碼:
# Script crashes...
Traceback (most recent call last):
File "script.py",line 4,in <module>
func()
File "script.py",line 2,in func
return 0 / 0
ZeroDivisionError: division by zero
>>> import pdb
>>> pdb.pm() # Post-mortem debugger
> script.py(2)func()
-> return 0 / 0
(Pdb)
我們看到了崩潰的地方,現在讓我們設定一個斷點:
def func(): breakpoint() # import pdb; pdb.set_trace() return 0 / 0 func()
現在再次執行它:
script.py(3)func()
-> return 0 / 0
(Pdb) # we start here
(Pdb) step
ZeroDivisionError: division by zero
> script.py(3)func()
-> return 0 / 0
(Pdb)
大多數時候,列印語句和錯誤資訊就足以進行除錯,但是有時候,你需要四處摸索,以瞭解程式內部正在發生的事情。在這些情況下,你可以設定斷點,然後程式執行時將在斷點處停下,你可以檢查程式,例如列出函式引數、表示式求值、列出變數、或如上所示僅作單步執行。
pdb 是功能齊全的 Python shell,理論上你可以執行任何東西,但是你還需要一些除錯命令,可在此處【4】找到。
15、在一個類中定義多個建構函式
函式過載是程式語言(不含 Python)中非常常見的功能。即使你不能過載正常的函式,你仍然可以使用類方法過載建構函式:
import datetime class Date: def __init__(self,year,month,day): self.year = year self.month = month self.day = day @classmethod def today(cls): t = datetime.datetime.now() return cls(t.year,t.month,t.day) d = Date.today() print(f"{d.day}/{d.month}/{d.year}") # 14/9/2019
你可能傾向於將替代建構函式的所有邏輯放入__init__,並使用*args 、**kwargs 和一堆 if 語句,而不是使用類方法來解決。那可能行得通,但是卻變得難以閱讀和維護。
因此,我建議將很少的邏輯放入__init__,並在單獨的方法/建構函式中執行所有操作。這樣,對於類的維護者和使用者而言,得到的都是乾淨的程式碼。
16、使用裝飾器快取函式呼叫
你是否曾經編寫過一種函式,它執行昂貴的 I/O 操作或一些相當慢的遞迴,而且該函式可能會受益於對其結果進行快取(儲存)?如果你有,那麼有簡單的解決方案,即使用 functools 的lru_cache :
from functools import lru_cache import requests @lru_cache(maxsize=32) def get_with_cache(url): try: r = requests.get(url) return r.text except: return "Not Found" for url in ["https://google.com/","https://martinheinz.dev/","https://reddit.com/","https://google.com/","https://dev.to/martinheinz","https://google.com/"]: get_with_cache(url) print(get_with_cache.cache_info()) # CacheInfo(hits=2,misses=4,maxsize=32,currsize=4)
在此例中,我們用了可快取的 GET 請求(最多 32 個快取結果)。你還可以看到,我們可以使用 cache_info 方法檢查函式的快取資訊。裝飾器還提供了 clear_cache 方法,用於使快取結果無效。
我還想指出,此函式不應與具有副作用的函式一起使用,或與每次呼叫都建立可變物件的函式一起使用。
17、在可迭代物件中查詢最頻繁出現的元素
在列表中查詢最常見的元素是非常常見的任務,你可以使用 for 迴圈和字典(map),但是這沒必要,因為 collections 模組中有 Counter 類:
from collections import Counter cheese = ["gouda","brie","feta","cream cheese","cheddar","parmesan","mozzarella","gouda","camembert","emmental","parmesan"] cheese_count = Counter(cheese) print(cheese_count.most_common(3)) # Prints: [('parmesan',4),('cheddar',3),('gouda',2)]
實際上,Counter 只是一個字典,將元素與出現次數對映起來,因此你可以將其用作普通字典:
print(cheese_count["mozzarella"]) # Prints: 1 cheese_count["mozzarella"] += 1 print(cheese_count["mozzarella"]) # Prints: 2
除此之外,你還可以使用 update(more_words) 方法輕鬆新增更多元素。Counter 的另一個很酷的特性是你可以使用數學運算(加法和減法)來組合和減去 Counter 的例項。
小結
在日常 Python 程式設計中,並非所有這些特性都是必不可少的和有用的,但是其中一些特性可能會時不時派上用場,並且它們也可能簡化任務,而這本來可能很冗長且令人討厭。
我還要指出的是,所有這些特性都是 Python 標準庫的一部分,雖然在我看來,其中一些特性非常像是標準庫中的非標準內容。因此,每當你要在 Python 中實現某些功能時,首先可在標準庫檢視,如果找不到,那你可能看得還不夠仔細(如果它確實不存在,那麼肯定在某些三方庫中)。
如果你使用 Python,那麼我認為在這裡分享的大多數技巧幾乎每天都會有用,因此我希望它們會派上用場。另外,如果你對這些 Python 技巧和騷操作有任何想法,或者如果你知道解決上述問題的更好方法,請告訴我!🙂
相關連結
[1] 原文地址: https://martinheinz.dev/blog/1
[2] Levenshtein distance: https://en.wikipedia.org/wiki/Levenshtein_distance
[3] 在這裡: https://docs.python.org/3/howto/ipaddress.html
[4] 此處: https://docs.python.org/3/library/pdb.html%23debugger-commands#debugger-commands