删除项目后,通常需要保留或导出这些项目,以便在其他应用程序中使用这些项目。毕竟,这是刮擦过程… 继续阅读 爬虫蜘蛛Scrapy如何使用项目导出器Item Exporters?(70)python Scrapy教程1.51以上版本

Scrapy广泛使用信号来通知特定事件发生的时间。您可以在Scrapy项目中捕获一些这些信号… 继续阅读 爬虫蜘蛛Scrapy如何使用信号Signals API延迟信号处理程序?(69)python Scrapy教程1.51以上版本

扩展框架提供了一种将自己的自定义功能插入Scrapy的机制。 扩展只是在Scrapy启动时实… 继续阅读 爬虫蜘蛛Scrapy加载和激活扩展Extensions详细介绍(62)python Scrapy教程1.51以上版本

Scrapy提供可重复使用的项目管道,用于下载附加到特定项目的文件(例如,当您刮取产品并且还… 继续阅读 Scrapy下载和处理文件和图像并存储到google云端(50)python Scrapy教程1.51以上版本

注意 Google Directory(本指南中使用的示例网站)已不再可用,因为它已被Goo… 继续阅读 Scrapy使用Firebug进行抓取(48)python Scrapy教程1.51以上版本

Scrapy设置允许您自定义所有Scrapy组件的行为,包括核心,扩展,管道和蜘蛛本身。 设… 继续阅读 爬虫蜘蛛Scrapy设置Settings大全(36)python SCRAPY最新教程1.51以上版本

要激活Item Pipeline组件,必须settings.py中将其类添加到 ITEM_P… 继续阅读 爬虫蜘蛛项目管道Item Pipeline之激活项目管道组件(29)python SCRAPY最新教程1.51以上版本

在一个项目被蜘蛛抓取之后,它被发送到项目管道,该项目管道通过顺序执行的几个组件处理它。 每个… 继续阅读 爬虫蜘蛛项目管道Item Pipeline之编写自己的项目管道(28)python SCRAPY最新教程1.51以上版本

尽管您可以使用任何可调用函数作为输入和输出处理器,但Scrapy提供了一些常用的处理器,如下… 继续阅读 爬虫蜘蛛项目加载器Item Loader类详解之可用的内置处理器详解 (24)python SCRAPY最新教程1.51以上版本