项目名称：Crawlab
项目作者：tikazyq
开源许可协议：BSD-3-Clause
项目地址：https://gitee.com/tikazyq/crawlab
项目简介
Crawlab 是一款基于Golang的分布式爬虫管理平台，支持Python、NodeJS、Go、Java、PHP等多种编程语言以及多种爬虫框架。
Crawlab 主要解决的是大量爬虫管理困难的问题，例如需要监控上百个网站的参杂scrapy和selenium的项目不容易做到同时管理，而且命令行管理的成本非常高，还容易出错。Crawlab支持任何语言和任何框架，配合任务调度、任务监控，很容易做到对成规模的爬虫项目进行有效监控管理。
项目架构
Crawlab的架构包括了一个主节点（Master Node）和多个工作节点（Worker Node），以及负责通信和数据储存的Redis和MongoDB数据库。
前端应用向主节点请求数据，主节点通过MongoDB和Redis来执行任务派发调度以及部署，工作节点收到任务之后，开始执行爬虫任务，并将任务结果储存到MongoDB。架构相对于v0.3.0之前的Celery版本有所精简，去除了不必要的节点监控模块Flower，节点监控主要由Redis完成。
项目截图
登录
首页
节点列表
节点拓扑图
爬虫列表
爬虫概览
爬虫分析
爬虫文件编辑
任务抓取结果
任务日志
定时任务
消息通知
目前该项目已经更新至 0.5.1 版本，如果你看了介绍后想要上手试一试它的表现如何， 那么就点击下方了解更多，前往项目主页看看具体的部署方法和流程吧。
分享到:
