提取数据 学习如何使用Scrapy提取数据的最佳方法是使用shell Scrapy shell尝试选择器。跑: scrapy shell ‘http://quotes.toscrape.com/page/1/’ 注意 当从命令行运行Scrapy shell时,请记住始终将URL括在引号中,否则包含参数(即&字符)的url 将不起作用。 在Windows上,请使用双引号: scrapy shell “http://quotes.toscrape.com/page/1/” 你会看到类似的东西: [ … Scrapy log here … ] 2016-09-19 12:09:27

引擎盖下发生了什么? Scrapy会调度Spider方法scrapy.Request返回的对象start_requests。在收到每个响应后,它实例化Response对象并调用与请求相关的回调方法(在本例中为 parse方法),将响应作为参数传递。 start_requests方法的快捷方式 您可以只使用URL列表定义类属性,而不是实现从URL start_requests()生成scrapy.Request对象的方法start_urls。然后,默认实现将使用此列表start_requests()来为您的spider创建初始请求: import scrapy class QuotesSpide

蜘蛛是您定义的类,Scrapy用来从网站(或一组网站)中提取信息。它们必须子类化 scrapy.Spider并定义要生成的初始请求,可选地如何跟踪页面中的链接,以及如何解析下载的页面内容以提取数据。 这是我们第一个蜘蛛的代码。将其保存在 项目目录quotes_spider.py下的tutorial/spiders文件中: import scrapy class QuotesSpider(scrapy.Spider): name = “quotes” def start_requests(self): urls = [ ‘http://quotes.toscrape.com/page/1/’,

在关于WordPress如何在幕后工作的信息图之后,一些用户要求我们介绍WordPress主题在幕后的工作原理。 在本文中,我们将为初学者解释WordPress模板层次结构。在自定义模板或创建自定义WordPress主题时,此备忘单非常有用。 为什么要了解WordPress模板层次结构? 所有现代WordPress主题都包含模板,样式表,javascript和图像。这些文件一起控制着您的网站对用户的看法。 相关:在为您的网站选择完美的WordPress主题时必须寻找的东西. WordPress有一个标准的模板层次结构。这意味着具有特定文件名的模板会影响您网站上的特定区域。它还会告诉您用于特定项

您将看到许多网站在其帖子内容中添加了一个digg按钮。一些新用户只需打开 single.php 并添加digg脚本,这将导致digg按钮显示在所有博客帖子上。但是,如果您只想在特定帖子上显示digg按钮呢?您可以在撰写帖子时在每个帖子上手动添加它,但这不是最有效的方法。在本文中,我们将向您展示如何通过简单地使用自定义字段在特定帖子上添加digg按钮。 首先打开您的 single.php 并查找一个看起来像这样的代码: <?php if (have_posts()) : while (have_posts()) : the_post(); ?> 将其替换为: <?php if

每个WordPress管理屏幕都有一个帮助按钮。此区域下拉并包含帮助用户了解特定页面功能的文本。为客户端或插件创建自定义网站时,您可能会发现需要修改“帮助”下拉列表文本。在本文中,我们将向您展示如何修改WordPress管理区域中的帮助下拉文本。 首先打开您的主题的functions.php文件并粘贴以下代码: add_action(“load-page-new.php”,”custom_help_page”); add_action(“load-page.php”,”custom_help_page”); function custom_help_page() { add_filter(“c

您有没有想过如何将搜索结果限制为特定的帖子类型?它不是很难。我们已经向您展示了如何通过修改functions.php文件来禁用WordPress中的搜索功能。现在我们要做同样的事情,除了过滤我们的搜索结果。 打开您的functions.php文件并添加以下代码: function searchfilter($query) { if ($query->is_search && !is_admin() ) { $query->set(“post_type”,array(“post”,”page”)); } return $query; } add_filter(“pre

自定义存档页面是将所有旧内容整合到一个页面中的好方法。它允许您拥有一个专用页面,您可以在其中列出每月存档,类别存档,标记存档,作者存档以及您可能要添加的任何其他内容。我们有一个WPBeginner的自定义存档页面。最近我们的一位用户建议我们写一篇关于它的教程。在本文中,我们将向您展示如何在WordPress中创建自定义存档页面。 问题 默认情况下,您可以使用侧栏小部件显示年度存档。一旦你博客超过一年,这可能会失控。想象一下像WPBeginner这样的网站已经活跃了将近4年。我们在侧边栏中有48个月的归档链接。您还可以在侧栏上添加类别档案,作者列表等。但是,当你可以创建一个单独的页面列出所有链接

最近,我们的一位用户问我们是否有办法在WordPress中显示相关页面而不是帖子。之前,我们向您展示了如何在有或没有插件的情况下在WordPress中显示相关帖子。在本文中,我们将向您展示如何在WordPress中显示相关页面。 使用插件在WordPress中显示相关页面 在WordPress中显示相关页面的更简单方法是使用插件。 您需要做的第一件事是安装并激活Yet Another Related Posts Plugin(YARPP)插件。激活后,您需要转到设置»YARPP 来配置插件。 在插件的设置页面上,向下滚动到您的网站’部分的‘显示选项。在自动显示选项下,您

当您运行WordPress多站点时,每次创建新站点时,WordPress都会自动将示例页面添加到新站点。最近,我们的一位用户问我们是否可以删除默认样本页面并添加他们自己的默认页面。在本文中,我们将向您展示如何在WordPress多站点中添加/删除默认页面。 为什么在WordPress Multisite中添加自己的默认页面? 使用您自己的默认页面替换默认样本页面可能有很多原因。例如,您可能希望添加一个页面,告诉用户下一步该做什么。 WordPress生成的默认样本页面有点无聊。也许你想添加一些机智和聪明的东西? 最后,您可以使用默认页面告诉用户您的多站点网络的注意事项。 在WordPress中