1, 抓取网页的内容
urlopen(url) 函数: 这个函数返回一个 http.client.HTTPResponse 对象, 这个对象又有各种方法
- #coding=utf-8
- import urllib.request
- url="http://www.baidu.com/"
- data=urllib.request.urlopen(url)
- read_data=data.read()
- info_data=data.info()
- getcode_data=data.getcode()
- print(read_data)# 获取 url 内容
- print(info_data)# 获取 body 体内容
- print(getcode_data)# 状态码
2, 抓取 http://blog.163.com / 下所有含 "linxi 要勇敢" 的网页内容
- import urllib
- import urllib.request
- data={} #字典
- data['word']="linxi 要勇敢"
- url_values=urllib.parse.urlencode(data) #将 data 装换为'word=jecvay+notes'的字符串
- url="http://blog.163.com/?"
- full_url=url+url_values #data 和 url 合并为 full_url
- data=urllib.request.urlopen(full_url).read()
- #data=data.decode('UTF-8') #通俗字符串转换为 url 格式的字符串
- print(data)
来源: http://www.bubuko.com/infodetail-2665322.html