python 版本:3.0
使用库: import urllib.request #打开网页的库
import os #创建文件夹有关
程序作用:批量爬取煎蛋网上图片
视频链接:链接:http://pan.baidu.com/s/1mhLBwWo 密码:1n51
有一点与视频不同:视频中图片链接为 http: 打头,实际煎蛋网目前没有 http:,会导致无法识别网页类型,不能正确下载,在保存是补上 http: 即可
基础知识:
1. 对于某个网站,网址一般是按顺序编码的比如:http://jandan.net/ooxx/
使用浏览器的审查元素,可以发现网址 <a href="http://jandan.net/ooxx/page-2366#comments">
2366 </a>
第一页,第十页,第二十页改变的就是 page - 后面的数字,改变每次打开网页的这个数字就可以达到刷网页的目的,大家可以依次打开下面的网址,可以发现其规律
http://jandan.net/ooxx/page-2366#comments
http://jandan.net/ooxx/page-2365#comments
http://jandan.net/ooxx/page-2364#comments
2. 网页上图片点击,可以发现图片的地址都有如下规律:
http://wx1.sinaimg.cn/mw600/005vbOHfgy1fd1ur0l6lbj31ao1y0nc8.jpg
http://wx1.sinaimg.cn/mw600/005vbOHfgy1fd1ur0l6lbj31ao1y0nc7.jpg
我们可以从一个网页的代码中筛选出这个格式的链接,利用 python 带的函数下载即可
程序思路:批量获取含有图片的网页,获取网页上包含的图片链接,下载图片
- def test1(folder ='OOXX',pages=2): //00XX为文件夹,程序运行时将创建,pages为抓取的网页数
- os.mkdir(folder) #创建文件夹
- os.chdir(folder)
- url="http://jandan.net/ooxx/" //要抓取的网页
- page_num=int(get_page(url)) //获取第一个网址
- for i in range(pages):
- page_num -=i
- page_url= url +'page-' +str(page_num) +'#comments' //批量获取网址
- img_addrs = find_imgs(page_url) //获取图片链接
- save_imgs(folder,img_addrs) //保存图片
- if __name__=='__main__':
- test1()
完整代码:
- import urllib.request #打开网页的库
- import os #创建文件夹有关
- def url_open(url): #打开网页
- req=urllib.request.Request(url) #
- req.add_header('User-Agent','Mozilla/5.0 (Windows; U; Windows NT 5.2) ApplewebKit/525.13 (Khtml, like Gecko) Chrome/0.2.149.27 Safari/525.13 ') #看起来像浏览器访问
- response = urllib.request.urlopen(url)
- html = response.read()
- print(url)
- return html
- def get_page(url):
- html=url_open(url).decode('utf-8') #解码
- a=html.find('current-comment-page')+23
- b=html.find(']',a)
- return html[a:b]
- def find_imgs(url): #寻找图片地址
- html=url_open(url).decode('utf-8')
- img_addrs=[]
- a=html.find('img src=')
- while a!=-1:
- b = html.find('.jpg',a,a+255) #找不到返回-1,255限定结束范围
- if b!=-1: #找到了
- img_addrs.append('http:'+html[a+9:b+4]) #列表添加地址 实际地址缺少http:
- else:
- b=a+9
- a=html.find('img src=',b)
- for each in img_addrs:
- print(each)
- return img_addrs
- def save_imgs(folder,img_addrs): #保存图片
- for each in img_addrs:
- filename = each.split('/')[-1]
- with open(filename,'wb') as f:
- img = url_open(each)
- f.write(img)
- def test1(folder ='OOXX',pages=2):
- os.mkdir(folder) #创建文件夹
- os.chdir(folder)
- url="http://jandan.net/ooxx/"
- page_num=int(get_page(url))
- for i in range(pages):
- page_num -=i
- page_url= url +'page-' +str(page_num) +'#comments'
- img_addrs = find_imgs(page_url)
- save_imgs(folder,img_addrs)
- if __name__=='__main__':
- test1()
来源: http://www.cnblogs.com/luoqingyu/p/6441270.html