引入
Scrapy 的数据持久化, 主要包括存储到数据库, 文件以及内置数据存储.
那我们今天就来讲讲如何把 Scrapy 中的数据存储到数据库和文件当中.
终端指令存储
保证爬虫文件的 parse 方法中有可迭代类型对象 (通常为列表 or 字典) 的返回, 该返回值可以通过终端指令的形式写入指定格式的文件中进行持久化操作.
# 执行输出指定格式进行存储: 将爬取到的数据写入不同格式的文件中进行存储
scrapy crawl 爬虫名称 -o xxx.JSON # 存为 JSON 文件
scrapy crawl 爬虫名称 -o xxx.xml # 存为 xml 文件
scrapy crawl 爬虫名称 -o xxx.CSV # 存为 CSV 文件
管道存储
scrapy 框架中已经为我们专门集成好了高效, 便捷的持久化操作功能, 我们直接使用即可. 要想使用 scrapy 的持久化操作功能, 我们首先来认识如下两个文件:
- # items.py: 数据结构模板文件. 定义数据属性.
- # pipelines.py: 管道文件. 接收数据(items), 进行持久化操作.
持久化流程:
爬虫文件爬取到数据后, 需要将数据封装到 items 对象中.
使用 yield 关键字将 items 对象提交给 pipelines 管道进行持久化操作.
在管道文件中的 process_item 方法中接收爬虫文件提交过来的 item 对象, 然后编写持久化存储的代码将 item 对象中存储的数据进行持久化存储
settings.py 配置文件中开启管道
举个栗子
将糗事百科首页中的段子和作者数据爬取下来, 然后进行持久化存储
- - qiubaiDemo.py(爬虫文件)
- import scrapy
- from secondblood.items import SecondbloodItem
- class QiubaidemoSpider(scrapy.Spider):
- name = 'qiubaiDemo'
- allowed_domains = ['www.qiushibaike.com']
- start_urls = ['http://www.qiushibaike.com/']
- def parse(self, response):
- odiv = response.xpath('//div[@id="content-left"]/div')
- for div in odiv:
- # xpath 函数返回的为列表, 列表中存放的数据为 Selector 类型的数据. 我们解析到的内容被封装在了 Selector 对象中, 需要调用 extract()函数将解析的内容从 Selecor 中取出.
- author = div.xpath('.//div[@class="author clearfix"]//h2/text()').extract_first()
- author = author.strip('\n')# 过滤空行
- content = div.xpath('.//div[@class="content"]/span/text()').extract_first()
- content = content.strip('\n')# 过滤空行
- # 将解析到的数据封装至 items 对象中
- item = SecondbloodItem()
- item['author'] = author
- item['content'] = content
- yield item # 提交 item 到管道文件(pipelines.py)
- - items.py(items 文件)
- import scrapy
- class SecondbloodItem(scrapy.Item):
- # define the fields for your item here like:
- # name = scrapy.Field()
- author = scrapy.Field() # 存储作者
- content = scrapy.Field() # 存储段子内容
- - pipelines.py(管道文件)
- class SecondbloodPipeline(object):
- # 构造方法
- def __init__(self):
- self.fp = None # 定义一个文件描述符属性
- # 下列都是在重写父类的方法:
- # 开始爬虫时, 执行一次
- def open_spider(self,spider):
- print('爬虫开始')
- self.fp = open('./data.txt', 'w')
- # 因为该方法会被执行调用多次, 所以文件的开启和关闭操作写在了另外两个只会各自执行一次的方法中.
- def process_item(self, item, spider):
- # 将爬虫程序提交的 item 进行持久化存储
- self.fp.write(item['author'] + ':' + item['content'] + '\n')
- return item
- # 结束爬虫时, 执行一次
- def close_spider(self,spider):
- self.fp.close()
- print('爬虫结束')
- - settings.py(配置文件)
- # 开启管道
- ITEM_PIPELINES = {
- 'secondblood.pipelines.SecondbloodPipeline': 300, # 300 表示为优先级, 值越小优先级越高
- }
基于 MySQL 的管道存储
在管道文件里将 item 对象中的数据值存储到了磁盘中, 如果将 item 数据写入 MySQL 数据库的话, 只需要将上述案例中的管道文件修改成如下形式:
- - pipelines.py
- # 导入数据库的类
- import pymysql
- class QiubaiproPipelineByMysql(object):
- conn = None # MySQL 的连接对象声明
- cursor = None # MySQL 游标对象声明
- def open_spider(self,spider):
- print('开始爬虫')
- # 链接数据库
- self.conn = pymysql.Connect(host='127.0.0.1',port=3306,user='root',password='123',db='qiubai')
- # 编写向数据库中存储数据的相关代码
- def process_item(self, item, spider):
- # 1. 链接数据库
- # 2. 执行 sql 语句
- sql = 'insert into qiubai values("%s","%s")'%(item['author'],item['content'])
- self.cursor = self.conn.cursor()
- # 执行事务
- try:
- self.cursor.execute(sql)
- self.conn.commit()
- except Exception as e:
- print(e)
- self.conn.rollback()
- return item
- def close_spider(self,spider):
- print('爬虫结束')
- self.cursor.close()
- self.conn.close()
- - settings.py
- ITEM_PIPELINES = {
- 'qiubaiPro.pipelines.QiubaiproPipelineByMysql': 300,
- }
基于 Redis 的管道存储
在管道文件里将 item 对象中的数据值存储到了磁盘中, 如果将 item 数据写入 Redis 数据库的话, 只需要将上述案例中的管道文件修改成如下形式:
- - pipelines.py
- import Redis
- class QiubaiproPipelineByRedis(object):
- conn = None
- def open_spider(self,spider):
- print('开始爬虫')
- # 创建链接对象
- self.conn = Redis.Redis(host='127.0.0.1',port=6379)
- def process_item(self, item, spider):
- dict = {
- 'author':item['author'],
- 'content':item['content']
- }
- # 写入 Redis 中
- self.conn.lpush('data', dict)
- return item
- - settings.py
- ITEM_PIPELINES = {
- 'qiubaiPro.pipelines.QiubaiproPipelineByRedis': 300,
- }
抛出需求
如果最终需要将爬取到的数据值一份存储到磁盘文件, 一份存储到数据库中, 则应该如何操作 scrapy?
- # 该类为管道类, 该类中的 process_item 方法是用来实现持久化存储操作的.
- class DoublekillPipeline(object):
- def process_item(self, item, spider):
- #持久化操作代码 (方式 1: 写入磁盘文件)
- return item
- # 如果想实现另一种形式的持久化操作, 则可以再定制一个管道类:
- class DoublekillPipeline_db(object):
- def process_item(self, item, spider):
- # 持久化操作代码 (方式 1: 写入数据库)
- return item
pipelines.py
- # 下列结构为字典, 字典中的键值表示的是即将被启用执行的管道文件和其执行的优先级.
- ITEM_PIPELINES = {
- 'doublekill.pipelines.DoublekillPipeline': 300,
- 'doublekill.pipelines.DoublekillPipeline_db': 200,
- }
- # 上述代码中, 字典中的两组键值分别表示会执行管道文件中对应的两个管道类中的 process_item 方法, 实现两种不同形式的持久化操作.
settings.py
来源: https://www.cnblogs.com/peng104/p/10440928.html