Crawlab
基于 Celery 的爬虫分布式爬虫管理平台, 支持多种编程语言以及多种爬虫框架.
GitHub: https://github.com/tikazyq/crawlab
安装
- # 安装后台类库
- pip install -r ./crawlab/requirements.txt
- # 安装前台类库
- cd frontend
- NPM install
配置
请更改配置文件 config.py, 配置 API 和数据库连接.
快速开始
- # 运行所有服务
- python manage.py run_all
- # 运行前端
- cd frontend
- NPM run dev
截图
首页
爬虫列表
爬虫详情 - 概览
任务详情 - 抓取结果
架构
Crawlab 的架构跟 Celery 非常相似, 但是加入了包括前端, 爬虫, Flower 在内的额外模块, 以支持爬虫管理的功能.
节点
节点其实就是 Celery 中的 Worker. 一个节点运行时会连接到一个任务队列 (例如 Redis) 来接收和运行任务. 所有爬虫需要在运行时被部署到节点上, 用户在部署前需要定义节点的 IP 地址和端口.
爬虫
自动发现
在 config.py 文件中, 修改变量 PROJECT_SOURCE_FILE_FOLDER 作为爬虫项目所在的目录. Crawlab 后台程序会自动发现这些爬虫项目并储存到数据库中. 是不是很方便?
部署爬虫
所有爬虫需要在抓取前被部署当相应当节点中. 在 "爬虫详情" 页面点击 "Deploy" 按钮, 爬虫将被部署到所有有效到节点中.
运行爬虫
部署爬虫之后, 你可以在 "爬虫详情" 页面点击 "Run" 按钮来启动爬虫. 一个爬虫任务将被触发, 你可以在任务列表页面中看到这个任务.
任务
任务被触发并被节点执行. 用户可以在任务详情页面中看到任务到状态, 日志和抓取结果.
后台应用
这是一个 Flask 应用, 提供了必要的 API 来支持常规操作, 例如 CRUD, 爬虫部署以及任务运行. 每一个节点需要启动 Flask 应用来支持爬虫部署. 运行 python manage.py App 或 python ./bin/run_app.py 来启动应用.
中间者
中间者跟 Celery 中定义的一样, 作为运行异步任务的队列.
前端
前端其实就是一个基于 vue-Element-Admin https://github.com/PanJiaChen/vue-element-admin 的单页应用. 其中重用了很多 Element-UI 的控件来支持相应的展示.
数据关联
任务是利用 python 的 subprocess 模块中的 Popen 来实现的. 任务 ID 将以环境变量 CRAWLAB_TASK_ID 的形式存在于爬虫任务运行的进程中, 并以此来关联抓取数据.
在你的爬虫程序中, 你需要将 CRAWLAB_TASK_ID 的值以 task_id 作为可以存入数据库中. 这样 Crawlab 就直到如何将爬虫任务与抓取数据关联起来了. 当前, Crawlab 只支持 MongoDB.
- import os
- from pymongo import MongoClient
- MONGO_HOST = '192.168.99.100'
- MONGO_PORT = 27017
- MONGO_DB = 'crawlab_test'
- # scrapy example in the pipeline
- class JuejinPipeline(object):
- mongo = MongoClient(host=MONGO_HOST, port=MONGO_PORT)
- db = mongo[MONGO_DB]
- col_name = os.environ.get('CRAWLAB_COLLECTION')
- if not col_name:
- col_name = 'test'
- col = db[col_name]
- def process_item(self, item, spider):
- item['task_id'] = os.environ.get('CRAWLAB_TASK_ID')
- self.col.save(item)
- return item
与其他框架比较
限制以及有一些爬虫管理框架了, 因此为啥还要用 Crawlab?
因为很多现有当平台都依赖于 Scrapyd, 限制了爬虫的编程语言以及框架, 爬虫工程师只能用 scrapy 和 python. 当然, scrapy 是非常优秀的爬虫框架, 但是它不能做一切事情.
Crawlab 使用起来很方便, 也很通用, 可以适用于几乎任何主流语言和框架. 它还有一个精美的前端界面, 让用户可以方便的管理和运行爬虫.
框架 | 类型 | 分布式 | 前端 | 依赖于 Scrapyd |
---|---|---|---|---|
Crawlab https://github.com/tikazyq/crawlab | 管理平台 | Y | Y | N |
https://github.com/Gerapy/Gerapy | 管理平台 | Y | Y | Y |
https://github.com/DormyMo/SpiderKeeper | 管理平台 | Y | Y | Y |
ScrapydWeb https://github.com/my8100/scrapydweb | 管理平台 | Y | Y | Y |
Scrapyd https://github.com/scrapy/scrapyd | 网络服务 | Y | N | N/A |
TODOs
后端
文件管理
MySQL 数据库支持
重跑任务
节点监控
更多爬虫例子
前端
任务数据统计
表格过滤
多语言支持 (中文)
登录和用户管理
全局搜索
来源: https://juejin.im/post/5c7f9014f265da2d9d1cd34b