当用 python3 做爬虫的时候, 一些网站为了防爬虫会设置一些检查机制, 这时我们就需要添加请求头, 伪装成浏览器正常访问.
header 的内容在浏览器的开发者工具中便可看到, 将这些信息添加到我们的爬虫代码中即可.
'Accept-Encoding': 是浏览器发给服务器, 声明浏览器支持的编码类型. 一般有 gzip,deflate,br 等等.
python3 中的 requests 包中 response.text 和 response.content
- response.content #字节方式的响应体, 会自动为你解码 gzip 和 deflate 压缩 类型: bytes
- reponse.text #字符串方式的响应体, 会自动根据响应头部的字符编码进行解码. 类型: str
但是这里是默认是不支持解码 br 的!!!!
br 指的是 Brotli, 是一种全新的数据格式, 无损压缩, 压缩比极高 (比 gzip 高的)
Brotli 具体介绍: https://www.cnblogs.com/Leo_wl/p/9170390.html
Brotli 优势: https://www.cnblogs.com/upyun/p/7871959.html
这个不是本文的重点, 重点是 python3 爬虫是如何解决.
第一种: 将'Accept-Encoding'中的: br 去除
这样接受的网页页面就是没有压缩的或者是默认可解析的了.
但是我认为, 不好, 人家搞出这么牛逼的算法还是要用一下的.
第二种: 将使用 br 压缩的页面解析.
python3 中要导入 brotl 包 这个要自己安装 (这里就不介绍了, 百度一堆)
下面是爬取智联招聘的网站的
- from bs4 import BeautifulSoup
- import requests
- import brotli
- from requests.exceptions import RequestException
- def get_one_page(city, keyword, page):
- '''获取网页 html 内容并返回'''
- paras = {
- 'jl': city, # 搜索城市
- 'kw': keyword, # 搜索关键词
- 'isadv': 0, # 是否打开更详细搜索选项
- 'isfilter': 1, # 是否对结果过滤
- 'p': page, # 页数
- # 're': region # region 的缩写, 地区, 2005 代表海淀
- }
- headers = {
- 'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) ApplewebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36 SE 2.X MetaSr 1.0',
- 'Host': 'sou.zhaopin.com',
- 'Referer': 'https://www.zhaopin.com/',
- 'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,/;q=0.8',
- 'Accept-Encoding': 'gizp,defale',
- 'Accept-Language': 'zh-CN,zh;q=0.9'
- }
- import chardet
- url = 'https://sou.zhaopin.com/jobs/searchresult.ashx?jl= {}&kw={}&sm=0&p={}'.format(paras['jl'],paras['kw'],paras['p'])
- try:
- # 获取网页内容, 返回 HTML 数据
- response = requests.get(url, headers=headers)
- # 通过状态码判断是否获取成功
- if response.status_code == 200:
- #response.encoding = 'utf-8'
- print(response.headers)
- print(response.encoding)
- key = 'Content-Encoding'
- # print(response.headers[key])
- print("-----------")
- if(key in response.headers and response.headers['Content-Encoding'] == 'br'):
- data = brotli.decompress(response.content)
- data1 = data.decode('utf-8')
- print(data1)
- return data1
- print(response.text)
- return response.text
- return None
- except RequestException as e:
- return None
- def main(city, keyword, pages):
- for i in range(pages):
- HTML = get_one_page(city, keyword, i)
- if name == 'main':
- main('北京', 'python', 1)
部分结果:
- {
- 'Server': 'openresty', 'Date': 'Sun, 19 Aug 2018 13:15:46 GMT', 'Content-Type': 'text/html; charset=utf-8', 'Content-Length': '361146', 'Connection': 'keep-alive', 'Vary': 'Accept-Encoding, Accept-Encoding', 'zp-trace-id': '8437455ebb5342a59f8af78ddaab1985', 'Set-Cookie': 'ZP-ENV-FLAG=gray'
- }
- utf-8
- -----------
<!DOCTYPE HTML>
这是没有加 br 在请求的头里的
下面改一下 Accept-Encoding 添加 br
... 同上
'Accept-Encoding': 'br,gizp,defale',
... 同上
部分结果:
- {
- 'Server': 'openresty', 'Date': 'Sun, 19 Aug 2018 13:19:02 GMT', 'Content-Type': 'text/html; charset=utf-8', 'Transfer-Encoding': 'chunked', 'Connection': 'keep-alive', 'Vary': 'Accept-Encoding', 'zp-trace-id': '842e66a58bb2464296121c9de59a9965', 'Content-Encoding': 'br', 'Set-Cookie': 'ZP-ENV-FLAG=gray'
- }
- utf-8
- -----------
<!DOCTYPE HTML>
当网站使用了 br 压缩的话, 他会告诉我们的, 就是'Content-Encoding'的值.
重点是
- key = 'Content-Encoding'
- if(key in response.headers and response.headers['Content-Encoding'] == 'br'):
- data = brotli.decompress(response.content)
- data1 = data.decode('utf-8')
- print(data1)
好的 这就解决了.
不得不说网上对于 brotli 的中文介绍并不算太多.
来源: http://www.bubuko.com/infodetail-2868446.html