.com www pytho request rom open url 使用 开始
一直用的是python3.4版本,所以只用了urllib爬数据,然后使用BeautifulSoup做为分析。
1、首先安装BeautifulSoup,执行命令如下:
- pip install BeautifulSoup4
2、第二步开始写代码,就以我的博客为例,其实代码很简单
- from urllib import request
- from bs4 import BeautifulSoup
- fp = request.urlopen("http://www.cnblogs.com/youyuan1980/")
- html = fp.read()
- soup = BeautifulSoup(html, ‘html.parser‘)
- for div in soup.find_all(‘a‘,attrs={"class":"postTitle2"}):
- print(div.get(‘href‘)) #显示a标签属性的href
- print(‘text:‘+div.get_text()) #显示a标签里面的text
不用解释,看看就明白了。
[Python]python爬虫简单试用
来源: http://www.bubuko.com/infodetail-2337686.html