您的位置:  首页 » Python » 爬虫蜘蛛Scrapy如何检索和处理项目中SpiderLoader API?(65)python Scrapy教程1.51以上版本

scrapy.loader.SpiderLoader

该类负责检索和处理项目中定义的spider类。

可以通过在SPIDER_LOADER_CLASS项目设置中指定其路径来使用自定义蜘蛛装载程序 。它们必须完全实现scrapy.interfaces.ISpiderLoader接口以保证无错执行。

from_settings设定
Scrapy使用此类方法来创建类的实例。它是使用当前项目设置调用的,它会加载SPIDER_MODULES 设置模块中递归发现的蜘蛛。

参数: 设置Settings实例) – 项目设置
loadspider_name 
获取具有给定名称的Spider类。它将查看以前加载的名为spider_name蜘蛛类的蜘蛛,如果找不到则会引发KeyError

参数: spider_namestr) – 蜘蛛类名
list
获取项目中可用蜘蛛的名称。
find_by_request要求
列出可以处理给定请求的蜘蛛名称。将尝试将请求的URL与蜘蛛的域匹配。

参数: requestRequestinstance) – 查询请求

 

发表评论

电子邮件地址不会被公开。 必填项已用*标注