功能比Scrapy強大但使用卻最方便的分布式爬蟲管理框架——Gerapy

功能比Scrapy強大但使用卻最方便的分佈式爬蟲管理框架——Gerapy

Gerapy 簡介

Gerapy 是一款分佈式爬蟲管理框架,支持 Python 3,基於 Scrapy、Scrapyd、Scrapyd-Client、Scrapy-Redis、Scrapyd-API、Scrapy-Splash、Jinjia2、Django、Vue.js 開發,Gerapy 可以幫助我們:

功能比Scrapy強大但使用卻最方便的分佈式爬蟲管理框架——Gerapy

  1. 更方便地控制爬蟲運行
  2. 更直觀地查看爬蟲狀態
  3. 更實時地查看爬取結果
  4. 更簡單地實現項目部署
  5. 更統一地實現主機管理
  6. 更輕鬆地編寫爬蟲代碼
功能比Scrapy強大但使用卻最方便的分佈式爬蟲管理框架——Gerapy

Gerapy的安裝

安裝非常簡單,只需要運行 pip3 命令即可:

功能比Scrapy強大但使用卻最方便的分佈式爬蟲管理框架——Gerapy

安裝完成之後我們就可以使用 gerapy 命令了,輸入 gerapy 便可以獲取它的基本使用方法:

功能比Scrapy強大但使用卻最方便的分佈式爬蟲管理框架——Gerapy

  • 初始化

接下來我們來開始使用 Gerapy,首先利用如下命令進行一下初始化,在任意路徑下均可執行如下命令:

功能比Scrapy強大但使用卻最方便的分佈式爬蟲管理框架——Gerapy

執行完畢之後,本地便會生成一個名字為 gerapy 的文件夾,接著進入該文件夾,可以看到有一個 projects 文件夾,我們後面會用到。

緊接著執行數據庫初始化命令:

功能比Scrapy強大但使用卻最方便的分佈式爬蟲管理框架——Gerapy

接著我們只需要再運行命令啟動服務就好了:

功能比Scrapy強大但使用卻最方便的分佈式爬蟲管理框架——Gerapy

這樣我們就可以看到 Gerapy 已經在 8000 端口上運行了。


分享到:


相關文章: