爬虫蜘蛛Scrapy如何检索和处理项目中SpiderLoader API?(65)python Scrapy教程1.51以上版本
class scrapy.loader.SpiderLoader
该类负责检索和处理项目中定义的spider类。
可以通过在SPIDER_LOADER_CLASS项目设置中指定其路径来使用自定义蜘蛛装载程序 。它们必须完全实现scrapy.interfaces.ISpiderLoader接口以保证无错执行。
settingsfrom_settings()- Scrapy使用此类方法来创建类的实例。它是使用当前项目设置调用的,它会加载在
SPIDER_MODULES设置模块中递归发现的蜘蛛。参数: settings ( Settingsinstance) – 项目设置
spider_nameload()- 获取具有给定名称的Spider类。它将查看以前加载的名为spider_name的蜘蛛类的蜘蛛,如果找不到则会引发KeyError。
参数: spider_name (str) – 蜘蛛类名
list()- 获取项目中可用蜘蛛的名称。
requestfind_by_request()- 列出可以处理给定请求的蜘蛛名称。将尝试将请求的URL与蜘蛛的域匹配。
参数: request( Requestinstance) – 查询请求