Scrapy 提供了對 request 的去重處理,去重類 在 文件中,路徑為: ,該類裡面有個方法 方法,源碼如下:
def request_seen(self, request):
# 計算 request 的指紋
fp = self.request_fingerprint(request)
# 判斷指紋是否已經存在
if fp in self.fingerprints:
# 存在
return True
# 不存在,加入到指紋集合中
self.fingerprints.add(fp)
if self.file:
self.file.write(fp + os.linesep)
它在 接受請求的時候被調用,進而調用 方法(為 request 生成一個指紋),源碼如下:
def request_fingerprint(request, include_headers=None):
if include_headers:
include_headers = tuple(to_bytes(h.lower())
for h in sorted(include_headers))
cache = _fingerprint_cache.setdefault(request, {})
if include_headers not in cache:
fp = hashlib.sha1()
fp.update(to_bytes(request.method))
fp.update(to_bytes(canonicalize_url(request.url)))
fp.update(request.body or b'')
if include_headers:
for hdr in include_headers:
if hdr in request.headers:
fp.update(hdr)
for v in request.headers.getlist(hdr):
fp.update(v)
cache[include_headers] = fp.hexdigest()
return cache[include_headers]
在上面代碼中我們可以看到
fp = hashlib.sha1()
...
cache[include_headers] = fp.hexdigest()
它為每一個傳遞過來的 URL 生成一個固定長度的唯一的哈希值。再看一下 方法,源碼如下:
def __init__(self, path=None, debug=False):
self.file = None
self.fingerprints = set()
self.logdupes = True
self.debug = debug
self.logger = logging.getLogger(__name__)
if path:
self.file = open(os.path.join(path, 'requests.seen'), 'a+')
self.file.seek(0)
self.fingerprints.update(x.rstrip() for x in self.file)
我們可以看到裡面有 這段代碼,就是通過 set 集合的特點(set 不允許有重複值)進行去重。
去重通過 參數設置,
dont_filter為 false 開啟去重,true為 不去重。
閱讀更多 沉沫之城 的文章