Scrapy 是一个十分强大的爬虫框架, 依赖的库比较多, 至少需要依赖的库有 Twisted 14.0,lxml 3.4 和 pyOpenSSL 0.14. 在不同的平台环境下, 它所依赖的库也各不相同, 所以在安装之前, 最好确保把一些基本库安装好.
官方网站: https://scrapy.org
官方文档: https://docs.scrapy.org
- PyPI:https://pypi.python.org/pypi/Scrapy
- GitHub:https://github.com/scrapy/scrapy
中文文档: http://scrapy-chs.readthedocs.io
一, 安装 Scrapy
如果你的 Python 是使用 Anaconda 安装的
conda install Scrapy
Windows 下的安装
下载安装 pyOpenSSL https://pypi.python.org/pypi/pyOpenSSL#downloads
下载安装 Twisted http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted
下载安装 PyWin32 https://sourceforge.net/projects/pywin32/files/pywin32/Build 221/
pip3 install Scrapy
CentOS 和 Red Hat
- sudo yum groupinstall -y development tools
- sudo yum install -y epel-release libxslt-devel libxml2-devel openssl-devel
- pip3 install Scrapy
Ubuntu,Debian 和 Deepin
- sudo apt-get install build-essential python3-dev libssl-dev libffi-dev libxml2 libxml2-dev libxslt1-dev zlib1g-dev
- pip3 install Scrapy
来源: http://www.bubuko.com/infodetail-2693709.html