扩展框架提供了一种将自己的自定义功能插入Scrapy的机制。 扩展只是在Scrapy启动时实例化的常规类,当初始化扩展时。 扩展设置 扩展使用Scrapy设置来管理其设置,就像任何其他Scrapy代码一样。 扩展程序通常使用自己的名称为其设置添加前缀,以避免与现有(和将来)扩展冲突。例如,处理Google Sitemaps的假设扩展将使用诸如GOOGLESITEMAP_ENABLED,GOOGLESITEMAP_DEPTH等设置 。 加载和激活扩展 通过实例化扩展类的单个实例,在启动时加载和激活扩展。因此,所有扩展初始化代码必须在类构造函数(__init__方法)中执行。 要使扩展可用,请将其

内置异常参考 以下列出了Scrapy中包含的所有例外情况及其用法。 掉物品开关DROPITEM 异常scrapy.exceptions.DropItem 项目管道阶段必须引发的异常才能停止处理Item。有关更多信息,请参阅项目管道。 CloseSpider 异常scrapy.exceptions.CloseSpider(reason =’cancel’ ) 可以从蜘蛛回调中引发此异常,以请求关闭/停止蜘蛛。支持的参数: 参数: reason(str) – 关闭的原因 例如: def parse_page(self, response): if ‘Bandwi