爬虫蜘蛛采集请求和回应Request和Response之请求对象scrapy.Request(33)python SCRAPY最新教程1.51以上版本

请求对象

classscrapy.http.Request(url [，callback，method =’GET’，headers，body，cookies，meta，encoding =’utf-8′，priority = 0，dont_filter = False，errback，flags ])

一个Request对象表示一个HTTP请求，它通常在Spider中生成并由Downloader执行，从而生成一个Response。

参数：

url（string） – 此请求的URL callback（callable） – 将使用此请求的响应（一旦下载）调用的函数作为其第一个参数。有关更多信息，请参阅下面将其他数据传递给回调函数。如果请求未指定回调，则将使用spider的 parse()方法。请注意，如果在处理期间引发异常，则会调用errback。 method（string） – 此请求的HTTP方法。默认为'GET'。 meta（dict） – Request.meta属性的初始值。如果给定，则此参数中传递的dict将被浅层复制。 body（str 或unicode） – 请求体。如果a unicode被传递，则str使用传递的编码（默认为utf-8）对其 进行编码。如果 body未给出，则存储空字符串。无论此参数的类型如何，存储的最终值都是str（从不 unicode或None）。 headers（dict） – 此请求的标头。dict值可以是字符串（对于单值标头）或列表（对于多值标头）。如果 None作为值传递，则根本不会发送HTTP标头。 饼干（字典或清单） -请求cookie。这些可以以两种形式发送。 使用词典： request_with_cookies = Request(url="http://www.example.com", cookies={'currency': 'USD', 'country': 'UY'}) 使用dicts列表： request_with_cookies = Request(url="http://www.example.com", cookies=[{'name': 'currency', 'value': 'USD', 'domain': 'example.com', 'path': '/currency'}]) 后一种形式允许自定义 cookie的属性domain和path属性。这仅在保存cookie以供以后请求时才有用。 当某个站点返回cookie（在响应中）时，这些cookie将存储在该域的cookie中，并将在以后的请求中再次发送。这是任何常规Web浏览器的典型行为。但是，如果由于某种原因，您希望避免与现有Cookie合并，则可以通过将dont_merge_cookies密钥设置为True 来指示Scrapy执行此操作 Request.meta。 不合并cookie的请求示例： request_with_cookies = Request(url="http://www.example.com", cookies={'currency': 'USD', 'country': 'UY'}, meta={'dont_merge_cookies': True}) 有关更多信息，请参阅CookiesMiddleware。 encoding（string） – 此请求的编码（默认为'utf-8'）。此编码将用于对URL进行百分比编码并将正文转换为str（如果给定unicode）。 priority（int） – 此请求的优先级（默认为0）。调度程序使用优先级来定义用于处理请求的顺序。具有更高优先级值的请求将更早执行。允许使用负值以指示相对较低的优先级。 dont_filter（boolean） – 表示调度程序不应过滤此请求。当您想要多次执行相同的请求时，可以使用此选项来忽略重复过滤器。小心使用它，否则您将进入爬行循环。默认为False。 errback（callable） – 在处理请求时引发任何异常时将调用的函数。这包括因404 HTTP错误而失败的页面等。它接收Twisted Failure实例作为第一个参数。有关更多信息，请参阅下面的使用errbacks捕获请求处理中的异常。 flags（list） – 发送给请求的标志，可用于日志记录或类似目的。

url

包含此请求的URL的字符串。请记住，此属性包含转义的URL，因此它可能与构造函数中传递的URL不同。

该属性是只读的。更改请求使用的URL replace()。

method

表示请求中的HTTP方法的字符串。这保证是大写的。例如："GET"，"POST"，"PUT"，等

headers

类似字典的对象，包含请求标头。

body

包含请求正文的str。

该属性是只读的。更改请求使用的正文 replace()。

meta

包含此请求的任意元数据的字典。对于新的请求，此dict为空，并且通常由不同的Scrapy组件（扩展，中间件等）填充。因此，此dict中包含的数据取决于您启用的扩展。

有关Scrapy识别的特殊元键列表，请参阅Request.meta特殊键。

当使用或方法克隆请求时， 此dict会被浅层复制，也可以在您的蜘蛛中从属性中访问。copy()replace()response.meta

copy()

返回一个新请求，该请求是此请求的副本。另请参阅：将 其他数据传递给回调函数。

replace([url, status, headers, body, request, flags, cls])

返回具有相同成员的Request对象，但通过指定的任何关键字参数给出新值的成员除外。Request.meta默认情况下复制该属性（除非在meta参数中给出新值）。另请参阅将 其他数据传递给回调函数。

def parse_page1(self, response):
    return scrapy.Request("http://www.example.com/some_page.html",
                          callback=self.parse_page2)

def parse_page2(self, response):
    # this would log http://www.example.com/some_page.html
    self.logger.info("Visited %s", response.url)

def parse_page1(self, response):
    item = MyItem()
    item['main_url'] = response.url
    request = scrapy.Request("http://www.example.com/some_page.html",
                             callback=self.parse_page2)
    request.meta['item'] = item
    yield request

def parse_page2(self, response):
    item = response.meta['item']
    item['other_url'] = response.url
    yield item

import scrapy

from scrapy.spidermiddlewares.httperror import HttpError
from twisted.internet.error import DNSLookupError
from twisted.internet.error import TimeoutError, TCPTimedOutError

class ErrbackSpider(scrapy.Spider):
    name = "errback_example"
    start_urls = [
        "http://www.httpbin.org/",              # HTTP 200 expected
        "http://www.httpbin.org/status/404",    # Not found error
        "http://www.httpbin.org/status/500",    # server issue
        "http://www.httpbin.org:12345/",        # non-responding host, timeout expected
        "http://www.httphttpbinbin.org/",       # DNS error expected
    ]

    def start_requests(self):
        for u in self.start_urls:
            yield scrapy.Request(u, callback=self.parse_httpbin,
                                    errback=self.errback_httpbin,
                                    dont_filter=True)

    def parse_httpbin(self, response):
        self.logger.info('Got successful response from {}'.format(response.url))
        # do something useful here...

    def errback_httpbin(self, failure):
        # log all failures
        self.logger.error(repr(failure))

        # in case you want to do something special for some errors,
        # you may need the failure's type:

        if failure.check(HttpError):
            # these exceptions come from HttpError spider middleware
            # you can get the non-200 response
            response = failure.value.response
            self.logger.error('HttpError on %s', response.url)

        elif failure.check(DNSLookupError):
            # this is the original request
            request = failure.request
            self.logger.error('DNSLookupError on %s', request.url)

        elif failure.check(TimeoutError, TCPTimedOutError):
            request = failure.request
            self.logger.error('TimeoutError on %s', request.url)

Request.meta特殊键

该Request.meta属性可以包含任意数据，但Scrapy及其内置扩展可识别一些特殊键。

那些是：

• dont_redirect
• dont_retry
• handle_httpstatus_list
• handle_httpstatus_all
• dont_merge_cookies
• cookiejar
• dont_cache
• redirect_urls
• bindaddress
• dont_obey_robotstxt
• download_timeout
• download_maxsize
• download_latency
• download_fail_on_dataloss
• proxy
• ftp_user（参见FTP_USER更多信息）
• ftp_password（参见FTP_PASSWORD更多信息）
• referrer_policy
• max_retry_times

请求子类

这是内置Request子类的列表。您还可以将其子类化以实现您自己的自定义功能。

return [FormRequest(url="http://www.example.com/post/action",
                    formdata={'name': 'John Doe', 'age': '27'},
                    callback=self.after_post)]

import scrapy

class LoginSpider(scrapy.Spider):
    name = 'example.com'
    start_urls = ['http://www.example.com/users/login.php']

    def parse(self, response):
        return scrapy.FormRequest.from_response(
            response,
            formdata={'username': 'john', 'password': 'secret'},
            callback=self.after_login
        )

    def after_login(self, response):
        # check login succeed before going on
        if "authentication failed" in response.body:
            self.logger.error("Login failed")
            return

        # continue scraping with authenticated session...