Gerapy 簡介
Gerapy 是一款分佈式爬蟲管理框架,支持 Python 3,基於 Scrapy、Scrapyd、Scrapyd-Client、Scrapy-Redis、Scrapyd-API、Scrapy-Splash、Jinjia2、Django、Vue.js 開發,Gerapy 可以幫助我們:
- 更方便地控制爬蟲運行
- 更直觀地查看爬蟲狀態
- 更實時地查看爬取結果
- 更簡單地實現項目部署
- 更統一地實現主機管理
- 更輕鬆地編寫爬蟲代碼
Gerapy的安裝
安裝非常簡單,只需要運行 pip3 命令即可:
安裝完成之後我們就可以使用 gerapy 命令了,輸入 gerapy 便可以獲取它的基本使用方法:
- 初始化
接下來我們來開始使用 Gerapy,首先利用如下命令進行一下初始化,在任意路徑下均可執行如下命令:
執行完畢之後,本地便會生成一個名字為 gerapy 的文件夾,接著進入該文件夾,可以看到有一個 projects 文件夾,我們後面會用到。
緊接著執行數據庫初始化命令:
接著我們只需要再運行命令啟動服務就好了:
這樣我們就可以看到 Gerapy 已經在 8000 端口上運行了。
閱讀更多 咱小二 的文章