徹底解決Python dict 中的KeyError 錯誤:defaultdict

徹底解決Python dict 中的KeyError 錯誤:defaultdict

今天我們的主角是 defaultdict,同時也會介紹一下模仿方法 __missing__(),本文主要來源於網友博客,分享給有需要的人。

默認值可以很方便

眾所周知,在Python中如果訪問字典中不存在的鍵,會引發KeyError異常。但是有時候,字典中的每個鍵都存在默認值是非常方便的。例如下面的例子:

strings = ('puppy', 'kitten', 'puppy', 'puppy', 'weasel', 'puppy', 'kitten', 'puppy')

counts = {}

for kw in strings:

counts[kw] += 1

該例子統計strings中某個單詞出現的次數,並在counts字典中作記錄。單詞每出現一次,在counts相對應的鍵所存的值數字加1。但是事實上,運行這段代碼會拋出KeyError異常,出現的時機是每個單詞第一次統計的時候,因為Python的dict中不存在默認值的說法,可以在Python命令行中驗證:

>>> counts = dict()

>>> counts

{}

>>> counts['puppy'] += 1

Traceback (most recent call last):

File "", line 1, in

KeyError: 'puppy'

使用判斷語句檢查

既然如此,首先可能想到的方法是在單詞第一次統計的時候,在counts中相應的鍵存下默認值1。這需要在處理的時候添加一個判斷語句:

strings = ('puppy', 'kitten', 'puppy', 'puppy', 'weasel', 'puppy', 'kitten', 'puppy')

counts = {}

for kw in strings:

if kw not in counts:

counts[kw] = 1

else:

counts[kw] += 1

# counts:

# {'puppy': 5, 'weasel': 1, 'kitten': 2}

使用 dict.setdefault() 方法

也可以通過 dict.setdefault()方法來設置默認值:

strings = ('puppy', 'kitten', 'puppy', 'puppy', 'weasel', 'puppy', 'kitten', 'puppy')

counts = {}

for kw in strings:

counts.setdefault(kw, 0)

counts[kw] += 1

dict.setdefault()方法接收兩個參數,第一個參數是健的名稱,第二個參數是默認值。假如字典中不存在給定的鍵,則返回參數中提供的默認值;反之,則返回字典中保存的值。利用 dict.setdefault()方法的返回值可以重寫for循環中的代碼,使其更加簡潔:

strings = ('puppy', 'kitten', 'puppy', 'puppy', 'weasel', 'puppy', 'kitten', 'puppy')

counts = {}

for kw in strings:

counts[kw] = counts.setdefault(kw, 0) + 1

使用 collections.defaultdict 類

以上的方法雖然在一定程度上解決了dict中不存在默認值的問題,但是這時候我們會想,有沒有一種字典它本身提供了默認值的功能呢?答案是肯定的,那就是 collections.defaultdict。

defaultdict類就好像是一個dict,但是它是使用一個類型來初始化的:

>>> from collections import defaultdict

>>> dd = defaultdict(list)

>>> dd

defaultdict(

, {})

defaultdict類的初始化函數接受一個類型作為參數,當所訪問的鍵不存在的時候,可以實例化一個值作為默認值:

>>> dd['foo']

[]

>>> dd

defaultdict(, {'foo': []})

>>> dd['bar'].append('quux')

>>> dd

defaultdict(, {'foo': [], 'bar': ['quux']})

需要注意的是,這種形式的默認值只有在通過 dict[key]或者 dict.__getitem__(key)訪問的時候才有效,這其中的原因在下文會介紹。

>>> from collections import defaultdict

>>> dd = defaultdict(list)

>>> 'something' in dd

False

>>> dd.pop('something')

Traceback (most recent call last):

File "", line 1, in

KeyError: 'pop(): dictionary is empty'

>>> dd.get('something')

>>> dd['something']

[]

defaultdict類除了接受類型名稱作為初始化函數的參數之外,還可以使用任何不帶參數的可調用函數,到時該函數的返回結果作為默認值,這樣使得默認值的取值更加靈活。下面用一個例子來說明,如何用自定義的不帶參數的函數 zero()作為defaultdict類的初始化函數的參數:

>>> from collections import defaultdict

>>> def zero():

... return 0

...

>>> dd = defaultdict(zero)

>>> dd

defaultdict(, {})

>>> dd['foo']

0

>>> dd

defaultdict(, {'foo': 0})

利用 collections.defaultdict來解決最初的單詞統計問題,代碼如下:

from collections import defaultdict

strings = ('puppy', 'kitten', 'puppy', 'puppy',

'weasel', 'puppy', 'kitten', 'puppy')

counts = defaultdict(lambda: 0) # 使用lambda來定義簡單的函數

for s in strings:

counts[s] += 1

defaultdict類是如何實現的

通過上面的內容,想必大家已經瞭解了defaultdict類的用法,那麼在defaultdict類中又是如何來實現默認值的功能呢?這其中的關鍵是使用了看 __missing__()這個方法:

>>> from collections import defaultdict

>>> print defaultdict.__missing__.__doc__

__missing__(key) # Called by __getitem__ for missing key; pseudo-code:

if self.default_factory is None: raise KeyError(key)

self[key] = value = self.default_factory()

return value

通過查看 __missing__()方法的 docstring,可以看出當使用 __getitem__()方法訪問一個不存在的鍵時 dict[key]這種形式實際上是 __getitem__()方法的簡化形式),會調用 __missing__()方法獲取默認值,並將該鍵添加到字典中去。

關於 __missing__()方法的具體介紹可以參考Python官方文檔中的"Mapping Types — dict"一節。

文檔中介紹,從2.5版本開始,如果派生自dict的子類定義了 __missing__()方法,當訪問不存在的鍵時,dict[key]會調用 __missing__()方法取得默認值。

從中可以看出,雖然dict支持 __missing__()方法,但是在dict本身是不存在這個方法的,而是需要在派生的子類中自行實現這個方法。可以簡單的驗證這一點:

>>> print dict.__missing__.__doc__

Traceback (most recent call last):

File "", line 1, in

AttributeError: type object 'dict' has no attribute '__missing__'

同時,我們可以進一步的做實驗,定義一個子類Missing並實現 __missing__()方法:

>>> class Missing(dict):

... def __missing__(self, key):

... return 'missing'

...

>>> d = Missing()

>>> d

{}

>>> d['foo']

'missing'

>>> d

{}

返回結果反映了 __missing__()方法確實發揮了作用。在此基礎上,我們稍許修改 __missing__()方法,使得該子類同defautldict類一樣為不存在的鍵設置一個默認值:

>>> class Defaulting(dict):

... def __missing__(self, key):

... self[key] = 'default'

... return 'default'

...

>>> d = Defaulting()

>>> d

{}

>>> d['foo']

'default'

>>> d

{'foo': 'default'}

在舊版本的Python中實現類defaultdict的功能

defaultdict類是從2.5版本之後才添加的,在一些舊版本中並不支持它,因此為舊版本實現一個兼容的defaultdict類是必要的。這其實很簡單,雖然性能可能未必如2.5版本中自帶的defautldict類好,但在功能上是一樣的。

首先, __getitem__()方法需要在訪問鍵失敗時,調用 __missing__()方法:

class defaultdict(dict):

def __getitem__(self, key):

try:

return dict.__getitem__(self, key)

except KeyError:

return self.__missing__(key)

其次,需要實現 __missing__()方法用來設置默認值:

class defaultdict(dict):

def __getitem__(self, key):

try:

return dict.__getitem__(self, key)

except KeyError:

return self.__missing__(key)

def __missing__(self, key):

self[key] = value = self.default_factory()

return value

然後,defaultdict類的初始化函數 __init__()需要接受類型或者可調用函數參數:

class defaultdict(dict):

def __init__(self, default_factory=None, *a, **kw):

dict.__init__(self, *a, **kw)

self.default_factory = default_factory

def __getitem__(self, key):

try:

return dict.__getitem__(self, key)

except KeyError:

return self.__missing__(key)

def __missing__(self, key):

self[key] = value = self.default_factory()

return value

最後,綜合以上內容,通過以下方式完成兼容新舊Python版本的代碼:

try:

from collections import defaultdict

except ImportError:

class defaultdict(dict):

def __init__(self, default_factory=None, *a, **kw):

dict.__init__(self, *a, **kw)

self.default_factory = default_factory

def __getitem__(self, key):

try:

return dict.__getitem__(self, key)

except KeyError:

return self.__missing__(key)

def __missing__(self, key):

self[key] = value = self.default_factory()

return value


分享到:


相關文章: