下载图片链接
本节的主要任务是下载文件中获得的图片链接
为此我写了个函数
def downImg(httpPath,localPath):
实测中,考虑到有些链接不存在,有些链接超时,有些链接其它错误,所以一次下载不了,多次尝试。
而且使用 request.urlretrieve(httpPath,localPath) 直接下载时,出现出现 10060 错误,于是使用 request.urlopen(httpPath,timeout=60),然后以读的方式进行下载。
我这的目录结构是这样的
第一步,读取所有的子文件夹
第二步,读取子文件夹下的 img.txt
第三步,下载 img.txt 中的链接
为此,我又写了下面的函数
DownThumbnail 是下载缩略图,因为这个网站上,目前或的的这些链接对应的是缩略图。
运行后,就会发现,可以下载了
目前是单线程方式下载的缩略图
下一节介绍下多线程方式,下载高清图
来源: http://www.jianshu.com/p/bc7ad7ac6c61