在 scrapy 中使用代理时,我们不能保证每个代理都可用,难免出现代理 ip 错误的情况,如果代理 ip 出现错误设置一个请求超时和重新发送这个链接
在 yield scrapy.Request 时候加上一个参数:
meta={'download_timeout': 10}
代表请求超时为 10 秒
然后在 settings 中设置如下:
保存即可
RETRY_ENABLED = True
RETRY_TIMES = 5
来源: http://www.bubuko.com/infodetail-2464043.html