安裝
首先，確定你的電腦上已經安裝了 Python 3 以及對應的 pip。可以使用下面的命令查看：
$ python3 --version
Python 3.6.3
$ pip3 --version
pip 9.0.1 from /usr/local/lib/python3.6/site-packages (python 3.6)
如果沒有安裝的話，推薦使 Homebrew 這個工具來進行安裝。
pip 是 Python 的一個包管理工具，類似於 npm，可以在線安裝、卸載所有的第三方 Python 模塊，並自動處理依賴關係。這裡我們使用下面的命令來安裝 Scrapy 模塊：
$ pip3 install scrapy
教程：一個抓取豆瓣電影 Top 250 的爬蟲
首先，我們使用下面的命令來創建並初始化 Scrapy 項目：
$ scrapy startproject doubanmovie
這樣便會在當前目錄下創建一個 doubanmovie 的爬蟲項目，其內部結構如下：
$ tree
.
├── doubanmovie
│ ├── __init__.py
│ ├── __pycache__
│ ├── items.py
│ ├── middlewares.py
│ ├── pipelines.py
│ ├── settings.py
│ └── spiders
│ ├── __init__.py
│ └── __pycache__
└── scrapy.cfg
其中：
scrapy.cfg 為 Scrapy 項目的核心配置文件
items.py 用於定義爬蟲程序爬取到的數據實體的屬性結構
piplines.py 用於定義爬蟲程序每次爬取到的數據實體進行後續處理的操作流程，比如寫入文件系統或數據庫
settings.py 為爬蟲程序的配置文件，可以在這裡定義多個 pipline 和 middleware
spiders 文件夾中存放爬蟲文件
接著，我們需要在 items.py 文件中定義電影實體的屬性結構：
class DoubanmovieItem(scrapy.Item):
# define the fields for your item here like:
# name = scrapy.Field()
rank = scrapy.Field() # 豆瓣排名
title = scrapy.Field() # 電影名稱
poster = scrapy.Field() # 電影海報
link = scrapy.Field() # 鏈接地址
rating = scrapy.Field() # 豆瓣評分
pass
然後，我們使用下面的命令來創建一個名為 doubanspider 的爬蟲程序：
$ scrapy genspider moviespider douban.com
運行之後會在 spiders 目錄下生成一個名為 moviespider.py 的爬蟲文件，內部定義了爬蟲的名稱、作用域及起始 URL 等基本信息，以及一個解析函數，該函數的主要功能便是通過 XPath 分析頁面中的 HTML 元素，並將解析結果輸出：
class MoviespiderSpider(scrapy.Spider):
name = 'moviespider'
allowed_domains = ['douban.com']
start_urls = ['https://movie.douban.com/top250']
def parse(self, response):
movie_items = response.xpath('//div[@class="item"]')
for item in movie_items:
movie = DoubanmovieItem()
movie['rank'] = item.xpath('div[@class="pic"]/em/text()').extract()
movie['title'] = item.xpath('div[@class="info"]/div[@class="hd"]/a/span[@class="title"][1]/text()').extract()
movie['poster'] = item.xpath('div[@class="pic"]/a/img/@src').extract()
movie['link'] = item.xpath('div[@class="info"]/div[@class="hd"]/a/@href').extract()
movie['rating'] = item.xpath('div[@class="info"]/div[@class="bd"]/div[@class="star"]/span[@class="rating_num"]/text()').extract()
yield movie
pass
通過爬蟲解析後的實體數據，會通過一種 Pipeline 的過程將結果進行打印輸出、存入文件或數據庫等：
class DoubanmoviePipeline(object):
def process_item(self, item, spider):
print('豆瓣排名：' + item['rank'][0])
print('電影名稱：' + item['title'][0])
print('鏈接地址：' + item['link'][0])
print('豆瓣評分：' + item['rating'][0] + '\n')
return item
由於豆瓣電影的網站設置了防爬蟲技術，所以在完成上述步驟後運行爬蟲會出現 403 的 HTTP 狀態碼。於是我們需要在發送的請求中加入 User Agent 信息來偽裝成一個瀏覽器：
from scrapy.downloadermiddlewares.useragent import UserAgentMiddleware
class FakeUserAgentMiddleware(UserAgentMiddleware):
def process_request(self, request, spider):
request.headers.setdefault('User-Agent', 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Safari/537.36')
最後，我們將上述修改寫入配置文件：
# Enable or disable downloader middlewares
# See http://scrapy.readthedocs.org/en/latest/topics/downloader-middleware.html
DOWNLOADER_MIDDLEWARES = {
'scrapy.contrib.downloadermiddleware.useragent.UserAgentMiddleware': None,
'doubanmovie.fakeuseragent.FakeUserAgentMiddleware': 543,
}
# Configure item pipelines
# See http://scrapy.readthedocs.org/en/latest/topics/item-pipeline.html
ITEM_PIPELINES = {
'doubanmovie.pipelines.DoubanmoviePipeline': 300,
}
運行 scrapy crawl moviespider 命令，便會在控制檯中輸出爬取到的數據。
閱讀更多 IT生涯 的文章
