啊啊, 为了更酷炫地用 python 爬取资源, 按照网上建议去下载 scrapy.
关于 scrapy, 网上介绍很多, 下载安装教程也很多, 也都对.
只不过不同的机子, 不同的 python 版本, 不同的网速等等因素, 要采用的方法都不大一样.
其实 pip install scrapy 按道理说, 网速够快足够稳定并且没有阻碍拦截应该是不会报错的.
可是问题就出在网速上, 所以最近校园网犯毛病的我只好一遍遍搜寻 scrapy 的各个模块, 手动下载然后在下载到的根目录下 pip install.
我涉及到的模块 (有的不属于 scrapy, 但是需要他们支持 scrapy) 有如下:
- pyOpenSSL
- Twisted
- PyWin32
- CFFI
- cryptography
- lxml
- zope.interface
- CSSselect
一般常见模块可以在下面的网址下载:
https://www.lfd.uci.edu/~gohlke/pythonlibs/
上面有几个模块在这个网站没有资源, 点击链接会转到 GitHub 上, 当然这些也可以去官网下载, 不过效果和 pip install 区别不算太大.
这类模块的建议就是直接 pip, 但是因为网速不稳定会经常断开然后报错, 处理方法就是一遍遍 按? 重试, 然后回车.
祝大家好运!
来源: http://www.bubuko.com/infodetail-3204936.html