在使用scrapy以下这句话调用抓取过程时,遇到以下错误 return [scrapy.Request(url=self.s_urls, headers=self.headers, callback=self.parse)]   Ignoring response <400 https://aa.com/library/index.html>: HTTP status code is not handled or not allowed 试了很多方法,都没有解决,最后换个函数调用方法,问题解决了。 return [scrapy.http.Request(url=self.

提取数据 学习如何使用Scrapy提取数据的最佳方法是使用shell Scrapy shell尝试选择器。跑: scrapy shell ‘http://quotes.toscrape.com/page/1/’ 注意 当从命令行运行Scrapy shell时,请记住始终将URL括在引号中,否则包含参数(即&字符)的url 将不起作用。 在Windows上,请使用双引号: scrapy shell “http://quotes.toscrape.com/page/1/” 你会看到类似的东西: [ … Scrapy log here … ] 2016-09-19 12:09:27