理解 Python 語言中的 defaultdict
原作者: Jason Kirtland
日期: January 13th, 2009
許可證: Creative Commons Attribution-Share Alike 3.0
原文連結(PPT): http://discorporate.us/jek/talks/defaultdict/
翻譯作者:kodango [email protected]
翻譯時間:March 17th, 2012
今天看到一篇講defaultdict的PPT,同時第一次見到missing()這個方法,好奇之下,仔細閱讀了這篇PPT。看完之後隨手做筆記,分享給有需要的人。準確地說,這篇文章不是純粹的翻譯,因為原文字身只是一份PPT。文章的大多數文字內容,都是本人的閱讀心得。
預設值可以很方便
眾所周知,在Python中如果訪問字典中不存在的鍵,會引發KeyError異常(JavaScript中如果物件中不存在某個屬性,則返回undefined)。但是有時候,字典中的每個鍵都存在預設值是非常方便的。例如下面的例子:
strings = ('puppy', 'kitten', 'puppy', 'puppy',
'weasel', 'puppy', 'kitten', 'puppy')
counts = {}
for kw in strings:
counts[kw] += 1
該例子統計strings中某個單詞出現的次數,並在counts字典中作記錄。單詞每出現一次,在counts相對應的鍵所存的值數字加1。但是事實上,執行這段程式碼會丟擲KeyError異常,出現的時機是每個單詞第一次統計的時候,因為Python的dict中不存在預設值的說法,可以在Python命令列中驗證:
>>> counts = dict()
>>> counts
{}
>>> counts['puppy'] += 1
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
KeyError: 'puppy'
使用判斷語句檢查
既然如此,首先可能想到的方法是在單詞第一次統計的時候,在counts中相應的鍵存下預設值1。這需要在處理的時候新增一個判斷語句:
strings = ('puppy', 'kitten' , 'puppy', 'puppy',
'weasel', 'puppy', 'kitten', 'puppy')
counts = {}
for kw in strings:
if kw not in counts:
counts[kw] = 1
else:
counts[kw] += 1
# counts:
# {'puppy': 5, 'weasel': 1, 'kitten': 2}
使用dict.setdefault()方法
也可以通過dict.setdefault()方法來設定預設值:
strings = ('puppy', 'kitten', 'puppy', 'puppy',
'weasel', 'puppy', 'kitten', 'puppy')
counts = {}
for kw in strings:
counts.setdefault(kw, 0)
counts[kw] += 1 # 原PPT中這裡有一個筆誤
dict.setdefault()方法接收兩個引數,第一個引數是健的名稱,第二個引數是預設值。假如字典中不存在給定的鍵,則返回引數中提供的預設值;反之,則返回字典中儲存的值。利用dict.setdefault()方法的返回值可以重寫for迴圈中的程式碼,使其更加簡潔:
strings = ('puppy', 'kitten', 'puppy', 'puppy',
'weasel', 'puppy', 'kitten', 'puppy')
counts = {}
for kw in strings:
counts[kw] = counts.setdefault(kw, 0) + 1
使用collections.defaultdict類
以上的方法雖然在一定程度上解決了dict中不存在預設值的問題,但是這時候我們會想,有沒有一種字典它本身提供了預設值的功能呢?答案是肯定的,那就是collections.defaultdict。
defaultdict類就好像是一個dict,但是它是使用一個型別來初始化的:
>>> from collections import defaultdict
>>> dd = defaultdict(list)
>>> dd
defaultdict(<type 'list'>, {})
defaultdict類的初始化函式接受一個型別作為引數,當所訪問的鍵不存在的時候,可以例項化一個值作為預設值:
>>> dd['foo']
[]
>>> dd
defaultdict(<type 'list'>, {'foo': []})
>>> dd['bar'].append('quux')
>>> dd
defaultdict(<type 'list'>, {'foo': [], 'bar': ['quux']})
需要注意的是,這種形式的預設值只有在通過dict[key]或者dict.getitem(key)訪問的時候才有效,這其中的原因在下文會介紹。
>>> from collections import defaultdict
>>> dd = defaultdict(list)
>>> 'something' in dd
False
>>> dd.pop('something')
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
KeyError: 'pop(): dictionary is empty'
>>> dd.get('something')
>>> dd['something']
[]
該類除了接受型別名稱作為初始化函式的引數之外,還可以使用任何不帶引數的可呼叫函式,到時該函式的返回結果作為預設值,這樣使得預設值的取值更加靈活。下面用一個例子來說明,如何用自定義的不帶引數的函式zero()作為初始化函式的引數:
>>> from collections import defaultdict
>>> def zero():
... return 0
...
>>> dd = defaultdict(zero)
>>> dd
defaultdict(<function zero at 0xb7ed2684>, {})
>>> dd['foo']
0
>>> dd
defaultdict(<function zero at 0xb7ed2684>, {'foo': 0})
利用collections.defaultdict來解決最初的單詞統計問題,程式碼如下:
from collections import defaultdict
strings = ('puppy', 'kitten', 'puppy', 'puppy',
'weasel', 'puppy', 'kitten', 'puppy')
counts = defaultdict(lambda: 0) # 使用lambda來定義簡單的函式
for s in strings:
counts[s] += 1
defaultdict 類是如何實現的
通過上面的內容,想必大家已經瞭解了defaultdict類的用法,那麼在defaultdict類中又是如何來實現預設值的功能呢?這其中的關鍵是使用了看missing()這個方法:
>>> from collections import defaultdict
>>> print defaultdict.__missing__.__doc__
__missing__(key) # Called by __getitem__ for missing key; pseudo-code:
if self.default_factory is None: raise KeyError(key)
self[key] = value = self.default_factory()
return value
通過檢視missing()方法的docstring,可以看出當使用getitem()方法訪問一個不存在的鍵時(dict[key]這種形式實際上是getitem()方法的簡化形式),會呼叫missing()方法獲取預設值,並將該鍵新增到字典中去。
關於missing()方法的具體介紹可以參考Python官方文件中的”Mapping Types — dict”一節。
文件中介紹,從2.5版本開始,如果派生自dict的子類定義了missing()方法,當訪問不存在的鍵時,dict[key]會呼叫missing()方法取得預設值。
從中可以看出,雖然dict支援missing()方法,但是在dict本身是不存在這個方法的,而是需要在派生的子類中自行實現這個方法。可以簡單的驗證這一點:
>>> print dict.__missing__.__doc__
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
AttributeError: type object 'dict' has no attribute '__missing__'
同時,我們可以進一步的做實驗,定義一個子類Missing並實現__missing__()方法:
>>> class Missing(dict):
... def __missing__(self, key):
... return 'missing'
...
>>> d = Missing()
>>> d
{}
>>> d['foo']
'missing'
>>> d
{}
返回結果反映了missing()方法確實發揮了作用。在此基礎上,我們稍許修改missing()方法,使得該子類同defautldict類一樣為不存在的鍵設定一個預設值:
>>> class Defaulting(dict):
... def __missing__(self, key):
... self[key] = 'default'
... return 'default'
...
>>> d = Defaulting()
>>> d
{}
>>> d['foo']
'default'
>>> d
{'foo': 'default'}
在舊版本的 Python 中實現 defaultdict 的功能
defaultdict類是從2.5版本之後才新增的,在一些舊版本中並不支援它,因此為舊版本實現一個相容的defaultdict類是必要的。這其實很簡單,雖然效能可能未必如2.5版本中自帶的defautldict類好,但在功能上是一樣的。
首先,getitem()方法需要在訪問鍵失敗時,呼叫missing()方法:
class defaultdict(dict):
def __getitem__(self, key):
try:
return dict.__getitem__(self, key)
except KeyError:
return self.__missing__(key)
其次,需要實現missing()方法用來設定預設值:
class defaultdict(dict):
def __getitem__(self, key):
try:
return dict.__getitem__(self, key)
except KeyError:
return self.__missing__(key)
def __missing__(self, key):
self[key] = value = self.default_factory()
return value
然後,defaultdict類的初始化函式init()需要接受型別或者可呼叫函式引數:
class defaultdict(dict):
def __init__(self, default_factory=None, *a, **kw):
dict.__init__(self, *a, **kw)
self.default_factory = default_factory
def __getitem__(self, key):
try:
return dict.__getitem__(self, key)
except KeyError:
return self.__missing__(key)
def __missing__(self, key):
self[key] = value = self.default_factory()
return value
最後,綜合以上內容,通過以下方式完成相容新舊Python版本的程式碼:
try:
from collections import defaultdict
except ImportError:
class defaultdict(dict):
def __init__(self, default_factory=None, *a, **kw):
dict.__init__(self, *a, **kw)
self.default_factory = default_factory
def __getitem__(self, key):
try:
return dict.__getitem__(self, key)
except KeyError:
return self.__missing__(key)
def __missing__(self, key):
self[key] = value = self.default_factory()
return value
相關推薦
理解R語言中的factor
轉載和整理自,向作者表示感謝 在R語言中,因子(factor)表示的是一個編號或者一個等級,即,一個點。例如,人的個數可以是1,2,3,4……那麼因子就包括,1,2,3,4…..還有描述協變數水平時,會用到高、中、低,也是因子,因為這些都是一個點。與之區別
[轉]理解Go語言中的nil
value http clas ace pre www. 如何 發現 wid 最近在油管上面看了一個視頻:Understanding nil,挺有意思,這篇文章就對視頻做一個歸納總結,代碼示例都是來自於視頻。 nil是什麽 相信寫過Golang的程序員對下面一段代碼
字節序的理解----C語言和Python語言
code n) name mes net oid unsigned import 應該 字節序是指多字節數據在計算機內存中存儲或者網絡傳輸時各字節的存儲順序。常見的主要有以下2種: 小端序(Little-Endian):低位字節排放在內存的低地址端即該值的起始地址,高位字
C語言中malloc函數的理解
萬能 一個 函數 語言 就是 有一個 類型轉換 har 扯淡 在C語言中malloc函數主要是用在堆內存的申請上,使用malloc函數時,函數會返回一個void *類型的值,這個值就是你申請的堆內存的首地址;為什麽返回的地址是一個void *類型的地址呢?首先我們要先弄明白
java語言中do while迴圈至少執行1次的理解
java語言中基本迴圈結構分為三類: 1.for 2.while 3.do while 一般情況下,同樣的 "初始條件/判斷語句/迴圈體語句/步進語句" 時,執行結果相同,如下: 1. for迴圈
R語言中的scale函式及標準化和歸一化的理解
在不同組資料間存在差異時,經常要進行標準化或者歸一化處理,標準化,歸一化及scale的具體理解見https://blog.csdn.net/tanzuozhev/article/details/50602051,待我日後
Python為什麼是程式語言中最skr的?
Python的出現讓計算機程式語言不再是生僻的專業技能,而是常人都能學習和使用的萬金油。 《經濟學人(Economist)》近日對Python的一篇專題報道,揭祕了這一把計算機思維帶入尋常百姓家的神奇程式語言。 Python在今天程式設計界的火熱流行度,藉助凡凡的一句話,那就是: 誕
對嵌入式C語言中volatile的理解
一.前言 1.編譯器優化介紹: 由於記憶體訪問速度遠不及CPU處理速度,為提高機器整體效能,在硬體上引入硬體快取記憶體Cache,加速對記憶體的訪問。另外在現代CPU中指令的執行並不一定嚴格按照順序執行,沒有相關性的指令可以亂序執行,以充分利用CPU的指令流水線,提高執行速
C語言中的void的理解
1 初學者對C/C++語言中的void及void指標型別不甚理解,因此在使用上出現了一些錯誤。本文將對void關鍵字的深刻含義進行解說,並 詳述void及void指標型別的使用方法與技巧。 2.void的含義 void的字面意思是“無型別”,void *則為“無型別指標”,
C語言中malloc、calloc、realloc動態記憶體分配的理解
void* realloc(void* ptr, unsigned newsize); void* malloc(unsigned size); void* calloc(size_t numElements, size_t sizeOfElement); 都在stdlib.h函式庫內 它們的返回值都是請求系
C語言中的for迴圈和python中的for迴圈的引數控制
最近在複習基礎演算法的時候對C語言中的for迴圈和python中的for迴圈的一個不同之處做了一個驗證:1、C語言中for(i=0;i<10;i++)裡的i受到for迴圈內部條件控制如下圖所示 可看到i因為for迴圈中的條件影響從1跳到了42、python中for i
Python中的字典與C語言中的switch結構類比
題目中用了類比而不是對比,因為我覺得我想要的並不是他們兩者之間的差異,而是想在Python中找到一種方式能夠完全代替C語言中的switch結構。 之前使用字典功能模擬switch結構的時候總覺得有點缺憾,因為自己還要構造switch的defau
理解 Python 語言中的 defaultdict
原作者: Jason Kirtland 日期: January 13th, 2009 許可證: Creative Commons Attribution-Share Alike 3.0 原文連結(PPT): http://discorporate.us
C語言中switch...case語句中break的重要性
不能 實現 比例 重要性 case語句 毫無 ... 應該 switch 在C語言中switch...case語句是經常用到的,下面我介紹一下在使用該語句時候需要註意的一個細節問題。話不多說,直接舉例子: 例子1: switch(fruit) { case 1:printf
c語言中char* 代表什麽
c 字符數組 1 c語言中,char* 代表 字符指針類型,當其指向一個字符串的第一個元素時,它就可以代表這個字符串了2 示例#include<stdio.h>int main(){ char* str = "learn c"; printf("%s\n", str);
go語言中container容器數據結構heap、list、ring
func 都是 slice 比較 next println div less 插入元素 heap堆的使用: package main import ( "container/heap" "fmt" ) type IntHeap []int
C語言中“段錯誤”出現的場景
oca auth pan clas log ted start 符號 cnblogs 1 /************************************************************************* 2 > Fil
c語言中continue的運用,同時學習接收字符,打印字符,遍歷字符
putc pre 讀取 ext cnblogs enter pri void blog 1 /************************************************************************* 2 > Fi
c語言中fflush的運用為什麽沒有效果呢,測試平臺linux
*** file 語言 stdlib.h clu author 年齡 blog name 1 /************************************************************************* 2 > F
C語言中,隱藏結構體的細節
all printf span 包括 strcpy () 創建 提高 結構體指針 我們都知道,在C語言中,結構體中的字段都是可以訪問的。或者說,在C++ 中,類和結構體的主要區別就是類中成員變量默認為private,而結構體中默認為public。結構體的這一個特性,導致結構