今天我們的主角是 defaultdict,同時也會介紹一下模仿方法 __missing__(),本文主要來源於網友博客,分享給有需要的人。
默認值可以很方便
眾所周知,在Python中如果訪問字典中不存在的鍵,會引發KeyError異常。但是有時候,字典中的每個鍵都存在默認值是非常方便的。例如下面的例子:
strings = ('puppy', 'kitten', 'puppy', 'puppy', 'weasel', 'puppy', 'kitten', 'puppy')
counts = {}
for kw in strings:
counts[kw] += 1
該例子統計strings中某個單詞出現的次數,並在counts字典中作記錄。單詞每出現一次,在counts相對應的鍵所存的值數字加1。但是事實上,運行這段代碼會拋出KeyError異常,出現的時機是每個單詞第一次統計的時候,因為Python的dict中不存在默認值的說法,可以在Python命令行中驗證:
>>> counts = dict()
>>> counts
{}
>>> counts['puppy'] += 1
Traceback (most recent call last):
File "
KeyError: 'puppy'
使用判斷語句檢查
既然如此,首先可能想到的方法是在單詞第一次統計的時候,在counts中相應的鍵存下默認值1。這需要在處理的時候添加一個判斷語句:
strings = ('puppy', 'kitten', 'puppy', 'puppy', 'weasel', 'puppy', 'kitten', 'puppy')
counts = {}
for kw in strings:
if kw not in counts:
counts[kw] = 1
else:
counts[kw] += 1
# counts:
# {'puppy': 5, 'weasel': 1, 'kitten': 2}
使用 dict.setdefault() 方法
也可以通過 dict.setdefault()方法來設置默認值:
strings = ('puppy', 'kitten', 'puppy', 'puppy', 'weasel', 'puppy', 'kitten', 'puppy')
counts = {}
for kw in strings:
counts.setdefault(kw, 0)
counts[kw] += 1
dict.setdefault()方法接收兩個參數,第一個參數是健的名稱,第二個參數是默認值。假如字典中不存在給定的鍵,則返回參數中提供的默認值;反之,則返回字典中保存的值。利用 dict.setdefault()方法的返回值可以重寫for循環中的代碼,使其更加簡潔:
strings = ('puppy', 'kitten', 'puppy', 'puppy', 'weasel', 'puppy', 'kitten', 'puppy')
counts = {}
for kw in strings:
counts[kw] = counts.setdefault(kw, 0) + 1
使用 collections.defaultdict 類
以上的方法雖然在一定程度上解決了dict中不存在默認值的問題,但是這時候我們會想,有沒有一種字典它本身提供了默認值的功能呢?答案是肯定的,那就是 collections.defaultdict。
defaultdict類就好像是一個dict,但是它是使用一個類型來初始化的:
>>> from collections import defaultdict
>>> dd = defaultdict(list)
>>> dd
defaultdict(
defaultdict類的初始化函數接受一個類型作為參數,當所訪問的鍵不存在的時候,可以實例化一個值作為默認值:
>>> dd['foo']
[]
>>> dd
defaultdict(
>>> dd['bar'].append('quux')
>>> dd
defaultdict(
需要注意的是,這種形式的默認值只有在通過 dict[key]或者 dict.__getitem__(key)訪問的時候才有效,這其中的原因在下文會介紹。
>>> from collections import defaultdict
>>> dd = defaultdict(list)
>>> 'something' in dd
False
>>> dd.pop('something')
Traceback (most recent call last):
File "
KeyError: 'pop(): dictionary is empty'
>>> dd.get('something')
>>> dd['something']
[]
defaultdict類除了接受類型名稱作為初始化函數的參數之外,還可以使用任何不帶參數的可調用函數,到時該函數的返回結果作為默認值,這樣使得默認值的取值更加靈活。下面用一個例子來說明,如何用自定義的不帶參數的函數 zero()作為defaultdict類的初始化函數的參數:
>>> from collections import defaultdict
>>> def zero():
... return 0
...
>>> dd = defaultdict(zero)
>>> dd
defaultdict(
>>> dd['foo']
0
>>> dd
defaultdict(
利用 collections.defaultdict來解決最初的單詞統計問題,代碼如下:
from collections import defaultdict
strings = ('puppy', 'kitten', 'puppy', 'puppy',
'weasel', 'puppy', 'kitten', 'puppy')
counts = defaultdict(lambda: 0) # 使用lambda來定義簡單的函數
for s in strings:
counts[s] += 1
defaultdict類是如何實現的
通過上面的內容,想必大家已經瞭解了defaultdict類的用法,那麼在defaultdict類中又是如何來實現默認值的功能呢?這其中的關鍵是使用了看 __missing__()這個方法:
>>> from collections import defaultdict
>>> print defaultdict.__missing__.__doc__
__missing__(key) # Called by __getitem__ for missing key; pseudo-code:
if self.default_factory is None: raise KeyError(key)
self[key] = value = self.default_factory()
return value
通過查看 __missing__()方法的 docstring,可以看出當使用 __getitem__()方法訪問一個不存在的鍵時 dict[key]這種形式實際上是 __getitem__()方法的簡化形式),會調用 __missing__()方法獲取默認值,並將該鍵添加到字典中去。
關於 __missing__()方法的具體介紹可以參考Python官方文檔中的"Mapping Types — dict"一節。
文檔中介紹,從2.5版本開始,如果派生自dict的子類定義了 __missing__()方法,當訪問不存在的鍵時,dict[key]會調用 __missing__()方法取得默認值。
從中可以看出,雖然dict支持 __missing__()方法,但是在dict本身是不存在這個方法的,而是需要在派生的子類中自行實現這個方法。可以簡單的驗證這一點:
>>> print dict.__missing__.__doc__
Traceback (most recent call last):
File "
AttributeError: type object 'dict' has no attribute '__missing__'
同時,我們可以進一步的做實驗,定義一個子類Missing並實現 __missing__()方法:
>>> class Missing(dict):
... def __missing__(self, key):
... return 'missing'
...
>>> d = Missing()
>>> d
{}
>>> d['foo']
'missing'
>>> d
{}
返回結果反映了 __missing__()方法確實發揮了作用。在此基礎上,我們稍許修改 __missing__()方法,使得該子類同defautldict類一樣為不存在的鍵設置一個默認值:
>>> class Defaulting(dict):
... def __missing__(self, key):
... self[key] = 'default'
... return 'default'
...
>>> d = Defaulting()
>>> d
{}
>>> d['foo']
'default'
>>> d
{'foo': 'default'}
在舊版本的Python中實現類defaultdict的功能
defaultdict類是從2.5版本之後才添加的,在一些舊版本中並不支持它,因此為舊版本實現一個兼容的defaultdict類是必要的。這其實很簡單,雖然性能可能未必如2.5版本中自帶的defautldict類好,但在功能上是一樣的。
首先, __getitem__()方法需要在訪問鍵失敗時,調用 __missing__()方法:
class defaultdict(dict):
def __getitem__(self, key):
try:
return dict.__getitem__(self, key)
except KeyError:
return self.__missing__(key)
其次,需要實現 __missing__()方法用來設置默認值:
class defaultdict(dict):
def __getitem__(self, key):
try:
return dict.__getitem__(self, key)
except KeyError:
return self.__missing__(key)
def __missing__(self, key):
self[key] = value = self.default_factory()
return value
然後,defaultdict類的初始化函數 __init__()需要接受類型或者可調用函數參數:
class defaultdict(dict):
def __init__(self, default_factory=None, *a, **kw):
dict.__init__(self, *a, **kw)
self.default_factory = default_factory
def __getitem__(self, key):
try:
return dict.__getitem__(self, key)
except KeyError:
return self.__missing__(key)
def __missing__(self, key):
self[key] = value = self.default_factory()
return value
最後,綜合以上內容,通過以下方式完成兼容新舊Python版本的代碼:
try:
from collections import defaultdict
except ImportError:
class defaultdict(dict):
def __init__(self, default_factory=None, *a, **kw):
dict.__init__(self, *a, **kw)
self.default_factory = default_factory
def __getitem__(self, key):
try:
return dict.__getitem__(self, key)
except KeyError:
return self.__missing__(key)
def __missing__(self, key):
self[key] = value = self.default_factory()
return value
閱讀更多 用數說話 的文章