您可以使用scrapy项目内部的工具来控制和管理它们。

例如,要创建一个新蜘蛛

scrapy genspider mydomain mydomain.com

某些Scrapy命令(如crawl)必须从Scrapy项目内部运行。有关必须从项目内部运行哪些命令以及哪些命令不能运行,请参阅下面的命令参考

还要记住,某些命令在从项目内部运行时可能会略有不同的行为。例如,user_agent如果获取的url与某个特定的spider相关联,则fetch命令将使用spider-overridden行为(例如覆盖用户代理的属性)。这是故意的,因为该fetch命令旨在用于检查蜘蛛如何下载页面

评论被关闭。