Python 安装 python 学习 一 python 语法,及变量类型 python 学习 二 爬一个图片网站上 python 学习 二 02 爬一个图片网站,获得主链接网址,并保存 python 学习 二 03 爬一个图片网站 - 获得所有分页网址 python 学习 二 04 爬一个图片网站 - 解析文件,获得所有图片链接 python 学习 二 05 爬一个图片网站 - 下载图片链接 python 学习 二 06 爬一个图片网站 - 多线程方式下载 python 学习 三 01 再爬一个网站,几行代码,搞定分类类别 python 学习 三 02 再爬一个网站,获得所有分页 python 学习 三 03 再爬一个网站,根据分页,下载图片
本图片爬虫工程,组织框架
初次使用 python, 没什么组织,只是开发过程中的逻辑梳理下
一个主程序,用于分析网站,根据网站图片分类,创建本地类别,获得所有分页,最后下载所需图片.
Common.py 常用功能
Down.py 下载功能
MyThread.py 多线程,与下载结合,实现多线程下载
Parse.py 解析
大体逻辑上,是按这个组织的,当然一开始是写在一个文件中的,不过发现那样太乱,不利于重复利用,于是就慢慢的分离出这几个文件.
现在,脉络是这样,不过耦合度还是挺多的,先不管了,有机会再研究的话,再进行完善.
工程发布到 github,有一个网站是日本的,可以尽情爬取,另一个网站网址省去了,避免多人爬取,直接把人家的网站挂掉,就像有人如果爬我的网站,差点把我的网站弄瘫痪了,我也是不愿意的:》
至此,我的爬虫项目已经完成了爬虫任务,暂时不再研究了,下一步打算做数据挖掘项目了
Github: https: //github.com/gudianxiaoshuo/myPython
来源: http://www.jianshu.com/p/a046bd0bde1c