You are here:  Home » Python » (命令行工具)控制项目(12)python SCRAPY最新教程1.51以上版本

您可以使用scrapy项目内部的工具来控制和管理它们。

例如,要创建一个新蜘蛛

scrapy genspider mydomain mydomain.com

 

某些Scrapy命令(如crawl)必须从Scrapy项目内部运行。有关必须从项目内部运行哪些命令以及哪些命令不能运行,请参阅下面的命令参考

还要记住,某些命令在从项目内部运行时可能会略有不同的行为。例如,user_agent如果获取的url与某个特定的spider相关联,则fetch命令将使用spider-overridden行为(例如覆盖用户代理的属性)。这是故意的,因为该fetch命令旨在用于检查蜘蛛如何下载页面

评论被关闭。