class scrapy.loader.SpiderLoader

该类负责检索和处理项目中定义的spider类。

可以通过在SPIDER_LOADER_CLASS项目设置中指定其路径来使用自定义蜘蛛装载程序 。它们必须完全实现scrapy.interfaces.ISpiderLoader接口以保证无错执行。

from_settings(settings)
Scrapy使用此类方法来创建类的实例。它是使用当前项目设置调用的,它会加载SPIDER_MODULES 设置模块中递归发现的蜘蛛

参数: settings (Settings instance) – 项目设置
load(spider_name)
获取具有给定名称的Spider类。它将查看以前加载的名为spider_name蜘蛛类蜘蛛,如果找不到则会引发KeyError

参数: spider_name (str)  – 蜘蛛类
list()
获取项目中可用蜘蛛的名称。
find_by_request(request)
列出可以处理给定请求的蜘蛛名称。将尝试将请求的URL与蜘蛛的域匹配。

参数: request(Request instance)  – 查询请求

 

猜您也想看看…