Scrapy shell是一个交互式shell,您可以非常快速地尝试调试您的抓取代码,而无需运行蜘蛛。它用于测试数据提取代码,但您实际上可以使用它来测试任何类型的代码,因为它也是常规的Python shell。 shell用于测试XPath或CSS表达式,看看它们是如何工作的,以及它们从你试图抓取的网页中提取的数据。它允许您在编写蜘蛛时以交互方式测试表达式,而无需运行蜘蛛来测试每个更改。 一旦熟悉了Scrapy shell,您就会发现它是开发和调试蜘蛛的宝贵工具。 配置 如果安装了IPython,Scrapy shell将使用它(而不是标准的Python控制台)。该IPython的控制台功能更

在深入研究命令行工具及其子命令之前,让我们先了解一下Scrapy项目的目录结构。 虽然可以修改,但默认情况下所有Scrapy项目都具有相同的文件结构,类似于: scrapy.cfg myproject/ __init__.py items.py middlewares.py pipelines.py settings.py spiders/ __init__.py spider1.py spider2.py …   scrapy.cfg文件所在的目录称为项目根目录。该文件包含定义项目设置的python模块的名称。这是一个例子: [settings] default = mypro