- import urllib.request
- url1 = 'https://www.baidu.com'
- #http://www.httpbin.org 这个网站可以课程方便的查看 http 请求的一些参数
- # 快代理
- #创建一个代理 IP, 传入的值是一个字典, 键是 http 或者 https , 值是 IP: 端口号,.Proxy 代理, Handler 组织者, 顾问
- handler = urllib.request.ProxyHandler({'http':'114.226.162.29:9999'})
- opener = urllib.request.build_opener(handler)
- resp = opener.open(url1)
- print(resp.readline())
- '''
- 在网站中, http 请求是无状态的. 即使是第一次请求和服务器连接并且登录成功后, 第二次请求服务器依然不知道当前请求是哪个用户
- cookie 的出现就是为了解决这个问题, 第一次登录后服务器返回一些数据 (cookie) 给浏览器, 然后浏览器保存在本地, 当用户发送第二次请求的时候
- , 就会把上次请求存储的 cookie 数据自动的携带给服务器, 服务器通过浏览器携带的数据就能判断当前用户是哪一个了, cookie 存储的数据有限
- 不同的浏览器有不同的存储大小, 但一般不超过 4kb, 因此使用 cookie 只能存储一些小量的数据集
- '''
- from urllib import request
- url = 'http://www.renren.com/880151247/profile'
- header = {
- "User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) ApplewebKit/537.36 (Khtml, like Gecko) Chrome/63.0.3239.132 Safari/537.36",
- "Cookie":"anonymid=k4zsbvoygfjodm; depovince=GW; _r01_=1; JSESSIONID=abcKJmXBv8wp5hj07uX9w; ick_login=3e23d33e-2a1f-41de-b34e-012c899f6364; t=348887651664a84b83898ad687ba5b699; societyguester=348887651664a84b83898ad687ba5b699; id=973339459; xnsid=8eabdf62; jebecookies=975ced4d-c406-409b-94b2-9c0d7dddb9cd|||||; ver=7.0; loginfrom=null; jebe_key=d740e568-0917-48ee-a456-b2ce647012e1|b26b13bc3816d83a2dac22a028f0e8e9|1578154341163|1|1578154338765; jebe_key=d740e568-0917-48ee-a456-b2ce647012e1|b26b13bc3816d83a2dac22a028f0e8e9|1578154341163|1|1578154338767; wp_fold=0"
- }
- req = request.Request(url,headers=header)
- resp = request.urlopen(req)
- print(resp.readlines(5))
来源: http://www.bubuko.com/infodetail-3464839.html