IP 有效时间 20 秒和 180 秒该如何选择
20 秒有效时间更短, 但是可以提供的 IP 数量更多, 180 秒有效时间更长, 但是可以提供的 IP 数量更少, 除非业务采集必须, 应该选择 20 秒代理有效时间, 提供更多的 IP, 避免网站反爬策略.
如果请求过多会返回什么
如果开通的 HTTP\HTTPS 代理, 系统返回 429 Too Many Requests; 如果开通的 Socket5 代理, 系统会主动对 TCP 延迟降速, 或者直接拒绝超出部分的 TCP 请求. 这两种处理方式都不会对爬虫的运行产生影响, 爬虫会根据返回结果自动重新发起请求, 这是 HTTP\HTTPS 和 Socket5 的标准应答模式.
来源: http://www.bubuko.com/infodetail-3000431.html