说道爬虫大家或许感觉非常神秘, 其实它没有我们想象的那么神奇(当然, google 和 baidu 的爬虫是一场复杂和强大的, 它的强大不是爬虫本身强大, 而是后台的数据处理和数据挖掘算法非常强大), 今天我们就来揭开它神秘的面纱. 呵呵, 简单两步就可以实现一个网页天气爬虫程序...
爬虫简单说来包括两个部分: 1. 获得网页文本信息. 2. 数据分析, 获取其中我们想要的数据.
1, 获得网页文本信息.
python 在获取 html 方面十分方便, 有了 urllib 库的帮助, 只需要几行代码就可以实现我们需要的功能.
- # 引入 urllib 库
- import urllib
- def getHtml(url):
- page= urllib.urlopen(url)
- HTML= page.read()
- page.close()
- return HTML
这里返回的就是网页的源代码, 也就是 HTML 代码.
那我们如何从中得到我们想要的信息呢? 那就需要用到在网页分析里面最最常用的工具 - 正则表达式 了.
2, 根据正则表达式等获得需要的内容.
使用正则表达式时需要仔细观察该网页信息的结构, 并写出正确的正则表达式.
python 正则表达式的使用也很简洁:
- # 引入正则表达式库
- import re
- def getWeather(HTML):
- reg= '<a title=.*?>(.*?)</a>.*?<span>(.*?)</span>.*?<b>(.*?)</b>'
- weatherList= re.compile(reg).findall(HTML)
- return weatherList
学习 Python 中的小伙伴, 需要学习资料的话, 可以前往我的微信公众号: 速学 Python, 后台回复: 简书, 即可拿 Python 学习资料
这里有我自己整理了一套最新的 python 系统学习教程, 包括从基础的 python 脚本到 web 开发, 爬虫, 数据分析, 数据可视化, 机器学习等. 送给正在学习 python 的小伙伴! 这里是 python 学习者聚集地, 欢迎初学和进阶中的小伙伴!
说明:
其中 reg 是正则表达式, HTML 是第一步获得的文本. findall 的作用是找到 HTML 中所有符合正则匹配的字符串并存放到 weatherList 中. 之后再枚举 weatheList 中的数据输出即可.
这里的正则表达式 reg 有两个地方要注意.
一个是 "(.*?)". 只要是 () 中的内容都是我们将要获得的内容, 如果有多个括号, 那么 findall 的每个结果就都包含这几个括号中的内容. 上面有三个括号, 分别对应城市, 最低温和最高温.
另一个是 ".*?".python 的正则匹配默认是贪婪的, 即默认尽可能多地匹配字符串. 如果在末尾加上问号, 则表示非贪婪模式, 即尽可能少地匹配字符串. 在这里, 由于有多个城市的信息需要匹配, 所以需要使用非贪婪模式, 否则匹配结果只剩下一个, 且是不正确的.
来源: http://www.jianshu.com/p/4a6ae3802c2e