You are here:  Home » Python » 爬虫蜘蛛内置异常详解(37)python Scrapy教程1.51以上版本

内置异常参考

以下列出了Scrapy中包含的所有例外情况及其用法。

掉物品开关DROPITEM

异常scrapy.exceptions.DropItem

项目管道阶段必须引发的异常才能停止处理Item。有关更多信息,请参阅项目管道

CloseSpider

异常scrapy.exceptions.CloseSpiderreason =’cancel’ 
可以从蜘蛛回调中引发此异常,以请求关闭/停止蜘蛛。支持的参数:

参数: reasonstr) – 关闭的原因

例如:

def parse_page(self, response):
    if 'Bandwidth exceeded' in response.body:
        raise CloseSpider('bandwidth_exceeded')

 

DontCloseSpider

异常scrapy.exceptions.DontCloseSpider

可以在spider_idle信号处理程序中引发此异常,以防止蜘蛛被关闭。

IgnoreRequest

异常scrapy.exceptions.IgnoreRequest

调度程序或任何下载程序中间件可以引发此异常,以指示应忽略该请求。

NotConfigured

异常scrapy.exceptions.NotConfigured

某些组件可能会引发此异常,以指示它们将保持禁用状态。这些组件包括:

  • 扩展
  • 物品管道
  • 下载中间件
  • 蜘蛛中间件

必须在组件的__init__方法中引发异常。

不支持

异常scrapy.exceptions.NotSupported

引发此异常表示不支持的功能。

评论被关闭。