scrapy + mogoDB 網站爬蟲技术頭條網

工具環境

語言：python3.6數據庫：MongoDB (安裝及運行命令如下)

<code>python3 -m pip install pymongo
brew install mongodb
mongod --config /usr/local/etc/mongod.conf/<code>

框架：scrapy1.5.1 (安裝命令如下)

<code>python3 -m pip install Scrapy/<code>

用 scrapy 框架創建一個爬蟲項目

在終端執行如下命令，創建一個名為 myspider 的爬蟲項目

<code>scrapy startproject myspider/<code>

即可得到一個如下結構的文件目錄

創建 crawl 樣式的爬蟲

針對不同的用途， scrapy 提供了不同種類的爬蟲類型，分別是Spider：所有爬蟲的祖宗CrawlSpider：比較常用的爬取整站數據的爬蟲（下面的例子就是用這種）XMLFeedSpiderCSVFeedSpiderSitemapSpider

先在命令行進入到 spiders 目錄下

<code>cd myspider/myspider/spiders/<code>

然後創建 crawl 類型的爬蟲模板

<code>scrapy genspider -t crawl zgmlxc www.zgmlxc.com.cn/<code>

參數說明：

-t crawl 指明爬蟲的類型

zgmlxc 是我給這個爬蟲取的名字

www.zgmlxc.com.cn 是我要爬取的站點

完善小爬蟲 zgmlxc

打開 zgmlxc.py 文件，可以看到一個基本的爬蟲模板，現在就開始對其進行一系列的配置工作，讓這個小爬蟲根據我的指令去爬取信息。

配置跟蹤頁面規則

<code>rules = (
    // 定位到 www.zgmlxc.com.cn/node/72.jspx 這個頁面
    Rule(LinkExtractor(allow=r'.72\\.jspx')),   

    // 在上面規定的頁面中，尋找符合下面規則的 url, 爬取裡面的內容，並把獲取的信息返回給 parse_item（）函數
    Rule(LinkExtractor(allow=r'./info/\\d+\\.jspx'), callback='parse_item'),
)        /<code>

這裡有個小坑，就是最後一個 Rule 後面必須有逗號，否則報錯，哈哈哈

rules = ( Rule(LinkExtractor(allow=r'./info/\\d+\\.jspx'), callback='parse_item', follow=True), )

在 items.py 內定義我們需要提取的字段

<code>import scrapy

class CrawlspiderItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    title = scrapy.Field()
    content = scrapy.Field()
    piclist = scrapy.Field()
    shortname = scrapy.Field()/<code>

完善 parse_item 函數

這裡就是把上一步返回的內容，配置規則，提取我們想要的信息。這裡必須用 join 方法，是為了方便後面順利導入數據庫。

<code>def parse_item(self, response):
    yield {
        'title' : ' '.join(response.xpath("//div[@class='head']/h3/text()").get()).strip(),
        'shortname' : ' '.join(response.xpath("//div[@class='body']/p/strong/text()").get()).strip(),
        'piclist' : ' '.join(response.xpath("//div[@class='body']/p/img/@src").getall()).strip(),
        'content' : ' '.join(response.css("div.body").extract()).strip(),
            }/<code>

PS: 下面是提取內容的常用規則，直接總結在這裡了：

1). 獲取 img 標籤中的 src://img[@class='photo-large']/@src

2). 獲取文章主題內容及排版:response.css("div.body").extract()

將信息存入 MogoDB 數據庫

設置數據庫信息

打開 settings.py 添加如下信息：

<code># 建立爬蟲與數據庫之間的連接關係
ITEM_PIPELINES = {
   'crawlspider.pipelines.MongoDBPipeline': 300,
}

# 設置數據庫信息
MONGODB_SERVER = "localhost"
MONGODB_PORT = 27017
MONGODB_DB = 'spider_world'
MONGODB_COLLECTION = 'zgmlxc'

# 設置文明爬蟲, 意思是每個請求之間間歇 5 秒, 對站點友好, 也防止被黑名單
```py
DOWNLOAD_DELAY = 5/<code>

在 piplines.py 中

<code>import pymongo

from scrapy.conf import settings
from scrapy.exceptions import DropItem
from scrapy import log

class MongoDBPipeline(object):
    def __init__(self):
        connection = pymongo.MongoClient(
            settings['MONGODB_SERVER'],
            settings['MONGODB_PORT']
        )
        db = connection[settings['MONGODB_DB']]
        self.collection = db[settings['MONGODB_COLLECTION']] 


    def process_item(self, item, spider):
        valid = True
        for data in item:
            if not data:
                valid = False
                raise DropItem("Missing {0}!".format(data))
        if valid:
            self.collection.insert(dict(item))
            log.msg("Question added to MongoDB database!",
                    level=log.DEBUG, spider=spider)
        return item/<code>