当我们在浏览相关网页的时候会发现, 某些网站定时会在原有网页数据的基础上更新一批数据, 例如某电影网站会实时更新一批最近热门的电影. 小说网站会根据作者创作的进度实时更新最新的章节数据等等. 那么, 类似的情景, 当我们在爬虫的过程中遇到时, 我们是不是需要定时更新程序以便能爬取到网站中最近更新的数据呢?
一. 增量式爬虫
概念: 通过爬虫程序监测某网站数据更新的情况, 以便可以爬取到该网站更新出的新数据.
如何进行增量式的爬取工作:
在发送请求之前判断这个 URL 是不是之前爬取过
在解析内容后判断这部分内容是不是之前爬取过
写入存储介质时判断内容是不是已经在介质中存在
分析:
不难发现, 其实增量爬取的核心是去重, 至于去重的操作在哪个步骤起作用, 只能说各有利弊. 在我看来, 前两种思路需要根据实际情况取一个 (也可能都用). 第一种思路适合不断有新页面出现的网站, 比如说小说的新章节, 每天的最新新闻等等; 第二种思路则适合页面内容会更新的网站. 第三个思路是相当于是最后的一道防线. 这样做可以最大程度上达到去重的目的.
去重方法
将爬取过程中产生的 url 进行存储, 存储在 Redis 的 set 中. 当下次进行数据爬取时, 首先对即将要发起的请求对应的 url 在存储的 url 的 set 中做判断, 如果存在则不进行请求, 否则才进行请求.
对爬取到的网页内容进行唯一标识的制定, 然后将该唯一表示存储至 Redis 的 set 中. 当下次爬取到网页数据的时候, 在进行持久化存储之前, 首先可以先判断该数据的唯一标识在 Redis 的 set 中是否存在, 在决定是否进行持久化存储.
二. 项目案例
- 需求 1: 爬取 4567tv 网站中所有的电影详情数据.
- 爬虫文件:
- import scrapy
- from scrapy.linkextractors import LinkExtractor
- from scrapy.spiders import CrawlSpider, Rule
- from Redis import Redis
- from movieIncrement.items import MovieincrementItem
- class MovieSpider(CrawlSpider):
- name = 'movie'
- # allowed_domains = ['www.xxx.com']
- start_urls = ['https://www.4567tv.tv/index.php/vod/show/id/7.html']
- rules = (
- Rule(LinkExtractor(allow=r'/index.php/vod/show/id/7/page/\d+\.html'), callback='parse_item', follow=True),
- )
- def parse_item(self, response):
- conn = Redis(host='127.0.0.1',port=6379)
- detail_url_list = response.xpath('//li[@class="col-md-6 col-sm-4 col-xs-3"]/div/a/@href').extract()
- for url in detail_url_list:
- #ex == 1:set 中没有存储 url
- url = 'https://www.4567tv.tv' + url
- ex = conn.sadd('movies_url', url)
- if ex == 1:
- yield scrapy.Request(url=url, callback=self.parse_detail)
- else:
- print('网站没有更新数据, 暂无新数据可爬!')
- def parse_detail(self, response):
- item = MovieincrementItem()
- item['name'] = response.xpath('/html/body/div[1]/div/div/div/div[2]/h1/text()').extract_first()
- item['actor'] = response.xpath('/html/body/div[1]/div/div/div/div[2]/p[3]/a/text()').extract_first()
- yield item
- 管道文件:
- from Redis import Redis
- class MovieincrementPipeline(object):
- conn = None
- def open_spider(self, spider):
- self.conn = Redis(host='127.0.0.1', port=6379)
- def process_item(self, item, spider):
- print('有新数据被爬取到, 正在入库......')
- self.conn.lpush('movie_data', item)
- return item
- 需求 2: 爬取糗事百科中的段子和作者数据.
- 爬虫文件
- import scrapy
- from scrapy.linkextractors import LinkExtractor
- from scrapy.spiders import CrawlSpider, Rule
- from increment2_Pro.items import Increment2ProItem
- from Redis import Redis
- import hashlib
- class QiubaiSpider(CrawlSpider):
- name = 'qiubai'
- # allowed_domains = ['www.xxx.com']
- start_urls = ['https://www.qiushibaike.com/text/']
- rules = (
- Rule(LinkExtractor(allow=r'/text/page/\d+/'), callback='parse_item', follow=True),
- )
- def parse_item(self, response):
- div_list = response.xpath('//div[@class="article block untagged mb15 typs_hot"]')
- conn = Redis(host='127.0.0.1',port=6379)
- for div in div_list:
- item = Increment2ProItem()
- item['content'] = div.xpath('.//div[@class="content"]/span//text()').extract()
- item['content'] = ''.join(item['content'])
- item['author'] = div.xpath('./div/a[2]/h2/text() | ./div[1]/span[2]/h2/text()').extract_first()
- source = item['author']+item['content']
- # 自己制定了一种形式的数据指纹
- hashValue = hashlib.sha256(source.encode()).hexdigest()
- ex = conn.sadd('qiubai_hash',hashValue)
- if ex == 1:
- yield item
- else:
- print('没有更新数据可爬!!!')
- 管道文件:
- from Redis import Redis
- class Increment2ProPipeline(object):
- conn = None
- def open_spider(self,spider):
- self.conn = Redis(host='127.0.0.1',port=6379)
- def process_item(self, item, spider):
- dic = {
- 'author':item['author'],
- 'content':item['content']
- }
- self.conn.lpush('qiubaiData',dic)
- print('爬取到一条数据, 正在入库......')
- return item
来源: http://www.bubuko.com/infodetail-2978425.html