您的位置:  首页 » Python » 爬虫蜘蛛Scrapy如何使用统计信息收集器 API?(68)python Scrapy教程1.51以上版本

scrapy.statscollectors模块下有几个Stats收集器 ,它们都实现了StatsCollector 类定义的Stats Collector API (它们都是从它们继承的)。

scrapy.statscollectors.StatsCollector
get_value默认=无
返回给定统计信息键的值,如果不存在则返回默认值。
get_stats
从当前运行的蜘蛛获取所有统计数据作为词典。
set_value
设置给定统计数据键的给定值。
set_stats统计
使用stats参数中传递的dict覆盖当前统计信息。
inc_valuekeycount = 1start = 0 
假定给定的起始值(当它未设置时),按给定的计数递增给定统计量键的值。
max_value
仅当同一键的当前值低于值时,才设置给定键的给定值。如果给定键没有当前值,则始终设置该值
min_value
仅当同一键的当前值大于值时,才设置给定键的给定值。如果给定键没有当前值,则始终设置该值。
clear_stats
清除所有统计数据。

以下方法不是stats集合api的一部分,而是在实现自定义统计信息收集器时使用:

open_spider蜘蛛
打开给定的蜘蛛进行统计数据收集。
close_spider蜘蛛
关闭给定的蜘蛛。调用此方法后,无法访问或收集更多特定统计信息。

评论被关闭。