You are here:  Home » Python » python安装Scrapy

Scrapy在Python(默认Python实现)和PyPy(从PyPy 5.9开始)下运行Python 2.7和Python 3.4或更高版本

如果您使用的是Anaconda或Miniconda,您可以从conda- forge通道安装软件包,该软件包含适用于Linux,Windows和OS X的最新软件包。

要使用安装Scrapy conda,请运行:

conda install -c conda-forge scrapy

或者,如果您已经熟悉Python包的安装,则可以使用以下命令从PyPI安装Scrapy及其依赖项:

pip install Scrapy

请注意,有时这可能需要根据您的操作系统解决某些Scrapy依赖项的编译问题,因此请务必查看特定于 平台的安装说明。

我们强烈建议您在专用的virtualenv安装Scrapy ,以避免与系统软件包冲突。

有关更详细和平台细节的说明,请继续阅读。

有用的东西

Scrapy是用纯Python编写的,取决于一些关键的Python包(以及其他):

  • lxml,一个高效的XML和HTML解析器
  • parsel,一个在lxml之上编写的HTML / XML数据提取库,
  • w3lib,一个用于处理URL和网页编码的多用途帮助程序
  • twisted,一个异步网络框架
  • cryptography和pyOpenSSL,用于处理各种网络级安全需求

Scrapy经过测试的最小版本是:

  • 扭曲14.0
  • lxml 3.4
  • pyOpenSSL 0.14

Scrapy可能适用于这些软件包的旧版本,但不保证它会继续工作,因为它没有针对它们进行测试。

其中一些软件包本身依赖于非Python软件包,可能需要额外的安装步骤,具体取决于您的平台。请查看下面的平台特定指南。

如果与这些依赖关系有任何问题,请参阅各自的安装说明:

  • lxml安装
  • 加密安装

使用虚拟环境(推荐)

TL; DR:我们建议在所有平台上的虚拟环境中安装Scrapy。

Python包可以全局安装(也称为系统范围),也可以安装在用户空间中。我们不建议安装scrapy系统。

相反,我们建议您在所谓的“虚拟环境”(virtualenv)中安装scrapy 。Virtualenvs允许您不与已安装的Python系统包冲突(这可能会破坏您的一些系统工具和脚本),并且仍然通常使用pip(没有sudo和喜欢)安装包。

要开始使用虚拟环境,请参阅virtualenv安装说明。要全局安装它(全局安装它实际上有帮助),它应该是运行的问题:

$ [sudo] pip install virtualenv

查看本用户指南,了解如何创建virtualenv

注意

如果你使用Linux或OS X,virtualenvwrapper是一个创建virtualenvs的便利工具。

一旦你创建了virtualenv,就可以在其中安装scrapy pip,就像任何其他Python包一样。(有关 您可能需要事先安装的非Python依赖项,请参阅下面的特定于平台的指南)。

可以创建Python virtualenvs以默认使用Python 2,或默认使用Python 3。

  • 如果你想用Python 3安装scrapy,请在Python 3 virtualenv中安装scrapy。
  • 如果你想用Python 2安装scrapy,请在Python 2 virtualenv中安装scrapy。

平台特定安装说明

窗口

虽然可以使用pip在Windows上安装Scrapy,但我们建议您安装Anaconda或Miniconda并使用conda – forge通道中的软件包 ,这样可以避免大多数安装问题。

安装Anaconda或Miniconda后,安装Scrapy

conda install -c conda-forge scrapy

Ubuntu 14.04或以上

Scrapy目前正在使用最新版本lxml,twisted和pyOpenSSL进行测试,并且与最近的Ubuntu发行版兼容。但它也应该支持旧版本的Ubuntu,比如Ubuntu 14.04,尽管可能存在TLS连接问题。

不要使用python-scrapyUbuntu提供的软件包,它们通常太旧而且速度慢,无法赶上最新的Scrapy。

要在Ubuntu(或基于Ubuntu)系统上安装scrapy,您需要安装这些依赖项:

sudo apt-get install python-dev python-pip libxml2-dev libxslt1-dev zlib1g-dev libffi-dev libssl-dev
  • python-devzlib1g-devlibxml2-devlibxslt1-dev 所需要的lxml
  • libssl-dev并且libffi-dev是必需的cryptography

如果你想在Python 3上安装scrapy,你还需要Python 3开发头文件:

sudo apt-get install python3 python3-dev

virtualenv中,你可以pip在之后安装Scrapy :

pip install scrapy

注意

可以使用相同的非Python依赖项在Debian Jessie(8.0)及更高版本安装Scrapy

Mac 

构建Scrapy的依赖项需要存在C编译器和开发头。在OS X上,这通常由Apple的Xcode开发工具提供。要安装Xcode命令行工具,请打开终端窗口并运行:

xcode-select --install

有一个已知问题阻止pip更新系统包。必须解决这个问题才能成功安装Scrapy及其依赖项。以下是一些建议的解决方案

  • (推荐) 不要使用系统python安装一个不与系统其他部分冲突的新版本。以下是使用自制软件包管理器的方法:
    • 按照https://brew.sh/中的说明安装自制软件
    • 更新您的PATH变量以声明在系统软件包之前应该使用自制软件包(如果您使用zsh作为默认shell,则更.bashrc改为:).zshrcecho “export PATH=/usr/local/bin:/usr/local/sbin:$PATH” >> ~/.bashrc
    • 重新加载.bashrc以确保发生了更改:source ~/.bashrc
    • 安装python:brew install python
    • 最新版本的python已pip与它们捆绑在一起,因此您无需单独安装它。如果不是这样,请升级python:brew update; brew upgrade python
  • (可选)在隔离的python环境中安装Scrapy。此方法是上述OS X问题的解决方法,但它是管理依赖关系的总体良好实践,可以补充第一种方法。virtualenv是一个可以用来在python中创建虚拟环境的工具。我们建议您阅读http://docs.python-guide.org/en/latest/dev/virtualenvs/等教程 ,以便开始使用。

在完成任何这些变通办法之后,您应该能够安装Scrapy:

pip install Scrapy

PyPy 

我们建议使用最新的PyPy版本。测试的版本是5.9.0。对于PyPy3,仅测试了Linux安装

大多数scrapy依赖类似物现在都有CPython的二进制轮,但不适用于PyPy。这意味着将在安装期间构建这些依赖项。在OS X上,您可能会遇到构建加密依赖关系的问题,此处描述了此问题的解决方案 ,即导出此命令建议的标志(仅在安装scrapy时需要)。除了安装构建依赖项之外,在Linux上安装没有特殊问题。在Windows上使用PyPy安装scrapy未经过测试。brew install openssl

您可以通过运行检查scrapy是否已正确安装。如果此命令出现错误 ,则表示setuptools无法获取一个特定于PyPy的依赖项。要解决此问题,请运行。scrapy benchTypeError: ... got 2 unexpected keyword argumentspip install 'PyPyDispatcher>=2.1.0'

评论被关闭。