今天小编给大家详细的讲解一下 Scrapy 爬虫框架, 希望对大家的学习有帮助.
1,Scrapy 爬虫框架
Scrapy 是一个使用 Python 编程语言编写的爬虫框架, 任何人都可以根据自己的需求进行修改, 并且使用起来非常的方便. 它可以应用在数据采集, 数据挖掘, 网络异常用户检测, 存储数据等方面.
Scrapy 使用了 Twisted 异步网络库来处理网络通讯. 整体架构大致如下图所示.
Scrapy 爬虫框架
2, 由上图可知 Scrapy 爬虫框架主要由 5 个部分组成, 分别是: Scrapy Engine(Scrapy 引擎),Scheduler(调度器),Downloader(下载器),Spiders(蜘蛛),Item Pipeline(项目管道). 爬取过程是 Scrapy 引擎发送请求, 之后调度器把初始 URL 交给下载器, 然后下载器向服务器发送服务请求, 得到响应后将下载的网页内容交与蜘蛛来处理, 尔后蜘蛛会对网页进行详细的解析. 蜘蛛分析的结果有两种: 一种是得到新的 URL, 之后再次请求调度器, 开始进行新一轮的爬取, 不断的重复上述过程; 另一种是得到所需的数据, 之后会转交给项目管道继续处理. 项目管道负责数据的清洗, 验证, 过滤, 去重和存储等后期处理, 最后由 Pipeline 输出到文件中, 或者存入数据库等.
3, 这五大组件及其中间件的功能如下:
1) Scrapy 引擎: 控制整个系统的数据处理流程, 触发事务处理流程, 负责串联各个模块
2) Scheduler(调度器): 维护待爬取的 URL 队列, 当接受引擎发送的请求时, 会从待爬取的 URL 队列中取出下一个 URL 返回给调度器.
3) Downloader(下载器): 向该网络服务器发送下载页面的请求, 用于下载网页内容, 并将网页内容交与蜘蛛去处理.
4) Spiders(蜘蛛): 制定要爬取的网站地址, 选择所需数据内容, 定义域名过滤规则和网页的解析规则等.
5) Item Pipeline(项目管道): 处理由蜘蛛从网页中抽取的数据, 主要任务是清洗, 验证, 过滤, 去重和存储数据等.
6) 中间件(Middlewares): 中间件是处于 Scrapy 引擎和 Scheduler,Downloader,Spiders 之间的构件, 主要是处理它们之间的请求及响应.
Scrapy 爬虫框架可以很方便的完成网上数据的采集工作, 简单轻巧, 使用起来非常方便.
4, 基于 Scrapy 的网络爬虫设计与实现
在了解 Scrapy 爬虫原理及框架的基础上, 本节简要介绍 Scrapy 爬虫框架的数据采集过程.
4.1 建立爬虫项目文件
基于 scrapy 爬虫框架, 只需在命令行中输入 "scrapy startproject article" 命令, 之后一个名为 article 的爬虫项目将自动创建. 首先进入到 article 文件夹下, 输入命令 "cd article", 之后通过 "dir" 查看目录, 也可以通过 "tree /f" 生成文件目录的树形结构, 如下图所示, 可以很清晰的看到 Scrapy 创建命令生成的文件.
爬虫项目目录结构
顶层的 article 文件夹是项目名, 第二层中包含的是一个与项目名同名的文件夹 article 和一个文件 scrapy.cfg, 这个与项目同名的文件夹 article 是一个模块, 所有的项目代码都在这个模块内添加, 而 scrapy.cfg 文件是整个 Scrapy 项目的配置文件. 第三层中有 5 个文件和一个文件夹, 其中__init__.py 是个空文件, 作用是将其上级目录变成一个模块; items.py 是定义储对象的文件, 决定爬取哪些项目; middlewares.py 文件是中间件, 一般不用进行修改, 主要负责相关组件之间的请求与响应; pipelines.py 是管道文件, 决定爬取后的数据如何进行处理和存储; settings.py 是项目的设置文件, 设置项目管道数据的处理方法, 爬虫频率, 表名等; spiders 文件夹中放置的是爬虫主体文件 (用于实现爬虫逻辑) 和一个__init__.py 空文件.
4.2 之后开始进行网页结构与数据分析, 修改 Items.py 文件, 编写 hangyunSpider.py 文件, 修改 pipelines.py 文件, 修改 settings.py 文件, 这些步骤的具体操作后期会文章专门展开, 在此不再赘述.
4.3 执行爬虫程序
修改上述四个文件之后, 在 Windows 命令符窗口中输入 cmd 命令进入到爬虫所在的路径, 并执行 "scrapy crawl article" 命令, 这样就可以运行爬虫程序了, 最后保存数据到本地磁盘上.
5, 结束语
随着互联网信息的与日俱增, 利用网络爬虫工具来获取所需信息必有用武之地. 使用开源的 Scrapy 爬虫框架, 不仅可以实现对 web 上信息的高效, 准确, 自动的获取, 还利于研究人员对采集到的数据进行后续的挖掘分析.
来源: https://juejin.im/post/5c5aef00e51d45013c405c18