爬虫蜘蛛Scrapy内置下载中间件详细分析DOWNLOADER_MIDDLEWARES(58)python Scrapy教程1.51以上版本

CookiesMiddleware

class scrapy.downloadermiddlewares.cookies.CookiesMiddleware

此中间件可用于处理需要cookie的站点，例如使用会话的站点。它跟踪Web服务器发送的cookie，并在后续请求（来自该蜘蛛）上发回它们，就像Web浏览器一样。

以下设置可用于配置cookie中间件：

• COOKIES_ENABLED
• COOKIES_DEBUG

for i, url in enumerate(urls):
    yield scrapy.Request(url, meta={'cookiejar': i},
        callback=self.parse_page)

def parse_page(self, response):
    # do some processing
    return scrapy.Request("http://www.example.com/otherpage",
        meta={'cookiejar': response.meta['cookiejar']},
        callback=self.parse_other_page)

2011-04-06 14:35:10-0300 [scrapy.core.engine] INFO: Spider opened
2011-04-06 14:35:10-0300 [scrapy.downloadermiddlewares.cookies] DEBUG: Sending cookies to: <GET http://www.diningcity.com/netherlands/index.html>
        Cookie: clientlanguage_nl=en_EN
2011-04-06 14:35:14-0300 [scrapy.downloadermiddlewares.cookies] DEBUG: Received cookies from: <200 http://www.diningcity.com/netherlands/index.html>
        Set-Cookie: JSESSIONID=B~FA4DC0C496C8762AE4F1A620EAB34F38; Path=/
        Set-Cookie: ip_isocode=US
        Set-Cookie: clientlanguage_nl=en_EN; Expires=Thu, 07-Apr-2011 21:21:34 GMT; Path=/
2011-04-06 14:49:50-0300 [scrapy.core.engine] DEBUG: Crawled (200) <GET http://www.diningcity.com/netherlands/index.html> (referer: None)
[...]

DefaultHeadersMiddleware

class scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware

此中间件设置设置中指定的所有默认请求标头 DEFAULT_REQUEST_HEADERS。

DownloadTimeoutMiddleware

class scrapy.downloadermiddlewares.downloadtimeout.DownloadTimeoutMiddleware

此中间件为DOWNLOAD_TIMEOUT设置或download_timeout spider属性中指定的请求设置下载超时 。

HttpAuthMiddleware

class scrapy.downloadermiddlewares.httpauth.HttpAuthMiddleware

此中间件使用基本访问身份验证（也称为HTTP身份验证）对从某些蜘蛛生成的所有请求进行身份验证。

要从某些蜘蛛启用HTTP身份验证，请设置这些蜘蛛的http_user 和http_pass属性。

例：

from scrapy.spiders import CrawlSpider

class SomeIntranetSiteSpider(CrawlSpider):

    http_user = 'someuser'
    http_pass = 'somepass'
    name = 'intranet.example.com'

    # .. rest of the spider code omitted ...

HttpCacheMiddleware

class scrapy.downloadermiddlewares.httpcache.HttpCacheMiddleware

此中间件为所有HTTP请求和响应提供低级缓存。它必须与缓存存储后端以及缓存策略结合使用。

Scrapy附带三个HTTP缓存存储后端：

• 文件系统存储后端（默认）
• DBM存储后端
• LevelDB存储后端

您可以使用该HTTPCACHE_STORAGE 设置更改HTTP缓存存储后端。或者您也可以实现自己的存储后端。

Scrapy附带两个HTTP缓存策略：

• RFC2616政策
• 虚拟政策（默认）

您可以使用该HTTPCACHE_POLICY 设置更改HTTP缓存策略。或者您也可以实施自己的政策。

您还可以使用dont_cache元键等于True来避免在每个策略上缓存响应。

/path/to/cache/dir/example.com/72/72811f648e718090f041317756c03adb0ada46c7

HttpCompressionMiddleware

class scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware

该中间件允许从网站发送/接收压缩（gzip，deflate）流量。

如果安装了brotlipy，此中间件还支持解码brotli压缩响应。

HttpProxyMiddleware

class scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware

此中间件通过设置对象的proxy元值来设置用于请求的HTTP代理 Request。

与Python标准库模块urllib和urllib2一样，它遵循以下环境变量：

• http_proxy
• https_proxy
• no_proxy

您还可以将proxy每个请求的元键设置为类似http://some_proxy_server:port或的值http://username:password@some_proxy_server:port。请记住，此值将优先于http_proxy/ https_proxyenvironment变量，并且还将忽略no_proxy环境变量。

RedirectMiddleware

class scrapy.downloadermiddlewares.redirect.RedirectMiddleware

该中间件根据响应状态处理请求的重定向。

可以在redirect_urls Request.meta密钥中找到请求经过的URL（在重定向时）。

该RedirectMiddleware可通过以下设置进行配置（详情参见设置文档）：

• REDIRECT_ENABLED
• REDIRECT_MAX_TIMES

如果Request.meta将dont_redirect 键设置为True，则此中间件将忽略该请求。

如果要在spider中处理一些重定向状态代码，可以在handle_httpstatus_listspider属性中指定这些代码。

例如，如果您希望重定向中间件忽略301和302响应（并将它们传递给您的蜘蛛），您可以这样做：

class MySpider(CrawlSpider):
    handle_httpstatus_list = [301, 302]

所述handle_httpstatus_list的键Request.meta也可以被用于指定的响应代码，以允许在每个请求基础。您还可以设置meta键 handle_httpstatus_all来True，如果你想以允许请求的任何响应代码。

MetaRefreshMiddleware

class scrapy.downloadermiddlewares.redirect.MetaRefreshMiddleware

此中间件基于元刷新html标记处理请求的重定向。

该MetaRefreshMiddleware可通过以下设置进行配置（详情参见设置文档）：

• METAREFRESH_ENABLED
• METAREFRESH_MAXDELAY

该中间件服从REDIRECT_MAX_TIMES设置，dont_redirect 并redirect_urls按照描述请求元密钥RedirectMiddleware

RetryMiddleware

class scrapy.downloadermiddlewares.retry.RetryMiddleware

一种中间件，用于重试可能由临时问题（如连接超时或HTTP 500错误）引起的失败请求。

一旦蜘蛛完成了对所有常规（非失败）页面的爬行，在抓取过程中收集失败的页面并在结束时重新安排。一旦没有更多的失败页面重试，该中间件就会发送一个信号（retry_complete），因此其他扩展可以连接到该信号。

该RetryMiddleware可通过以下设置进行配置（详情参见设置文档）：

• RETRY_ENABLED
• RETRY_TIMES
• RETRY_HTTP_CODES

如果Request.meta将dont_retry键设置为True，则此中间件将忽略该请求。

RobotsTxtMiddleware

class scrapy.downloadermiddlewares.robotstxt.RobotsTxtMiddleware

此中间件过滤掉robots.txt排除标准禁止的请求。

要确保Scrapy尊重robots.txt，请确保已启用中间件并启用该ROBOTSTXT_OBEY设置。

如果Request.meta将 dont_obey_robotstxt密钥设置为True，则即使ROBOTSTXT_OBEY启用了该中间件，该请求也将被忽略 。

DownloaderStats

class scrapy.downloadermiddlewares.stats.DownloaderStats

中间件，用于存储通过它的所有请求，响应和异常的统计信息。

要使用此中间件，您必须启用该DOWNLOADER_STATS 设置。

UserAgentMiddleware

class scrapy.downloadermiddlewares.useragent.UserAgentMiddleware

允许蜘蛛覆盖默认用户代理的中间件。

为了使蜘蛛覆盖默认用户代理， 必须设置其user_agent属性。

AjaxCrawlMiddleware

class scrapy.downloadermiddlewares.ajaxcrawl.AjaxCrawlMiddleware

基于元片段html标记找到“AJAX可抓取”页面变体的中间件。有关 详细信息，请参阅https://developers.google.com/webmasters/ajax-crawling/docs/getting-started。

注意

'http://example.com/!#foo=bar'即使没有这个中间件，Scrapy也会为URL找到“AJAX可抓取”页面 。当URL不包含时，AjaxCrawlMiddleware是必需的'!#'。这通常是“索引”或“主要”网站页面的情况。