爬虫蜘蛛内置异常详解(37)python Scrapy教程1.51以上版本

内置异常参考

以下列出了Scrapy中包含的所有例外情况及其用法。

项目管道阶段必须引发的异常才能停止处理Item。有关更多信息，请参阅项目管道。

异常scrapy.exceptions.CloseSpider（reason =’cancel’ ）

可以从蜘蛛回调中引发此异常，以请求关闭/停止蜘蛛。支持的参数：

参数：	reason（str） – 关闭的原因

例如：

def parse_page(self, response):
    if 'Bandwidth exceeded' in response.body:
        raise CloseSpider('bandwidth_exceeded')

可以在spider_idle信号处理程序中引发此异常，以防止蜘蛛被关闭。

调度程序或任何下载程序中间件可以引发此异常，以指示应忽略该请求。

某些组件可能会引发此异常，以指示它们将保持禁用状态。这些组件包括：

扩展

物品管道

下载中间件

蜘蛛中间件

必须在组件的__init__方法中引发异常。

引发此异常表示不支持的功能。