http 状态码 407
原因: 代理认证信息失败, 让对方严格按照 demo 配置代理信息
http 状态码 429
原因: 请求超过代理限制, 严格按照所开代理的请求数, 按照 300 毫秒为单位进行管理. 如果限制之后, 既然大量 429, 需要优化爬虫策略, 应该是目标网站返回的错误提示.
http 状态码 302
原因: 访问的是 https 网站, 会自动跳转一次, 正常现象; 访问的 http 网站, 网站拒绝服务, 大量 302 需要优化爬虫策略
http 状态码 403 或 504
原因: 少量不影响, 大量 403 或 504 需要优化爬虫策略
http 请求超时
原因: http 请求的超时设置为 10 秒, 尤其是对方访问国外网站的时候.
来源: http://www.bubuko.com/infodetail-2985191.html