爬虫蜘蛛Scrapy如何使用统计信息收集器 API?(68)python Scrapy教程1.51以上版本
scrapy.statscollectors
模块下有几个Stats收集器 ,它们都实现了StatsCollector
类定义的Stats Collector API (它们都是从它们继承的)。
- 类
scrapy.statscollectors.
StatsCollector
-
get_value
(键,默认=无)- 返回给定统计信息键的值,如果不存在则返回默认值。
get_stats
()- 从当前运行的蜘蛛获取所有统计数据作为词典。
set_value
(键,值)- 设置给定统计数据键的给定值。
set_stats
(统计)- 使用
stats
参数中传递的dict覆盖当前统计信息。
inc_value
(key,count = 1,start = 0 )- 假定给定的起始值(当它未设置时),按给定的计数递增给定统计量键的值。
min_value
(键,值)- 仅当同一键的当前值大于值时,才设置给定键的给定值。如果给定键没有当前值,则始终设置该值。
clear_stats
()- 清除所有统计数据。
以下方法不是stats集合api的一部分,而是在实现自定义统计信息收集器时使用:
open_spider
(蜘蛛)- 打开给定的蜘蛛进行统计数据收集。
close_spider
(蜘蛛)- 关闭给定的蜘蛛。调用此方法后,无法访问或收集更多特定统计信息。
评论被关闭。