什么是网络爬虫？

探索网络爬取

网络爬虫定义

网络爬虫是一种数字搜索引擎机器人，它使用副本和元数据来发现和索引站点页面。它也被称为蜘蛛机器人，它“爬取”万维网（因此称为“蜘蛛”和“爬虫”），以了解给定页面的内容。然后，它会索引页面并存储信息以供未来搜索使用。

索引是指在给定的架构或结构中组织数据。这是一个允许搜索引擎使用索引数据将相关搜索结果与查询匹配的过程。因此，网络爬虫是促进网络浏览的工具。

互联网网络爬虫和企业网络爬虫之间存在区别。互联网网络爬虫爬取互联网，并通过发现新站点并对其进行索引来不断扩展爬取前沿。企业网络爬虫爬取给定的商业网站以索引站点数据，以便用户在使用该网站的搜索功能进行查询时可以发现这些信息。它也可以用作自动化某些搜索的商业工具。

网络爬取的工作原理是什么？

网络爬取的工作原理是发现新页面、对其进行索引，然后存储信息以供将来使用。它可以按指定的时间间隔持续爬取您的内容，以保持您的搜索结果更新和可搜索。

发现和获取页面
为了尽可能多地收集有关在线站点或页面的信息，网络爬虫将在页面上的链接之间移动。

网络爬虫从已知的 URL 或种子 URL 开始，然后从该页面上的链接中发现并访问新站点。它一遍又一遍地重复此过程，不断寻找新页面。由于在线页面的数量庞大，而且信息不断更新，因此此过程几乎可以无限期地进行下去。

爬虫发现但记住以供将来发现的链接构成了所谓的爬取前沿。然后，这些超链接将按照一组策略或爬取规则确定的顺序进行访问。其中包括选择策略、重访策略、礼貌策略和并行化策略。

网络爬虫会考虑链接到给定页面的 URL 数量以及对给定页面的访问次数，所有这些都是为了发现和索引重要的内容。其逻辑是，经常访问和引用的页面包含权威的高质量信息。因此，搜索引擎了解该站点并能够使其可被发现非常重要。

渲染、下载和索引页面
一旦爬虫机器人发现新页面，它就会呈现其上的信息（无论是站点副本还是元标记），下载此信息并对其进行索引。一些网络爬虫只能访问或读取公共页面，而另一些则具有索引已验证页面的权限。它们还受制于 robots.txt 文件和 noindex 元标记要求。robots.txt 文件是关于在线页面的规则账本，它确定机器人可以跟踪哪些链接以及可以索引哪些信息。noindex 元标记可识别不用于索引的元标记。

反复重复
网络爬虫的目的是索引和下载有关给定站点的信息。爬虫一直在扩展爬取前沿，寻找新站点、页面和更新。因此，它们不断扩展搜索引擎的索引数据。

借助蜘蛛机器人，搜索引擎算法可以对爬虫创建的索引进行排序，以便在查询时可以获取这些索引并将其排名到结果中。

Elastic web crawler for use in creating flexible search capability for web properties

为什么网络爬取很重要？

网络爬取对企业很重要，因为它是搜索引擎功能的关键。它使搜索引擎可以索引信息，并知道存在哪些站点和页面，以便在与查询相关时可以引用此信息。

可发现性
网络爬取是成功的 SEO 和搜索策略的一部分，部分原因是它可以使商业网站和商业信息可被发现。如果没有初始爬取，搜索引擎就无法知道您的站点或网站数据的存在。对您站点的内部爬取还有助于您管理站点数据，使其保持更新和相关，以便在查询时可以发现正确的信息，从而使您可以覆盖正确的受众。

用户满意度
使用企业网络爬虫也是您企业网站搜索功能的关键。由于爬取索引了您的站点数据（没有麻烦），因此您可以为用户提供无缝的搜索体验，并且更有可能将其转化为客户。

自动化和节省时间
网络爬虫可以自动化数据检索，并允许您通过内部和外部爬取来提高网站的参与度。 这样，您可以专注于创建内容，并在必要时进行战略性更改。 简而言之，网络爬取以及您网站的可爬取性对您的业务成功至关重要。

网络爬虫的关键组成部分

网络爬虫是必不可少的搜索引擎工具，因此其特定组件被视为专有信息。 它们有助于区分搜索服务并定义搜索体验——例如，您在 Google 上的体验与在 Yandex 或 Bing 上的体验不同。 此外，您在自己网站上的搜索体验可能与竞争对手的搜索体验不同，这取决于搜索结果中呈现的信息的最新程度、准确性和相关性。

因此，尽管不同的网络爬虫（无论是互联网还是企业爬虫机器人）的工作方式不同，但它们都具有标准的架构和类似的功能。 它们接收一个种子 URL 作为输入。 从那里，它们可以访问爬取边界上的更多 URL，爬取边界由尚未被爬取机器人访问的 URL 列表组成。

根据一组策略或爬取规则（例如礼貌性（机器人可以索引的内容）和重新访问策略（它可以爬取的频率）），爬虫将继续访问新的 URL。

从那里，它必须具有呈现 URL 信息、高速下载、索引并将其存储在引擎中以供将来使用的能力。

虽然互联网爬虫支持全网搜索，但企业网络爬虫允许您在自己的网站上搜索内容。 它们的一些功能包括

  • 全面了解爬取活动，以便您可以跟踪爬取性能
  • 可编程性，使您可以通过灵活的 API 控制机器人
  • 易于使用的用户界面

网络爬虫的类型

可以对网络爬虫进行编程以完成不同的任务。 因此，存在不同类型的网络爬虫。

定向网络爬虫：定向网络爬虫的目标是爬取专注于某个参数的内容，例如与单个主题相关或来自单个域类型的内容。 为此，定向网络爬虫将根据概率来判断要跟踪哪些超链接。

增量网络爬虫：增量网络爬虫是一种爬虫机器人，它会重新访问页面以更新索引。 它会在适用情况下将旧链接替换为新 URL。 此过程有助于减少不一致的文档下载。

分布式爬虫：分布式爬虫同时在不同的网站上工作以完成爬取任务。

并行爬虫：并行爬虫是一种爬虫机器人，它同时（或并行）运行多个进程以提高下载效率。

最流行的爬虫机器人是互联网搜索引擎机器人。 它们包括

  • BingBot: Bing 的爬虫机器人
  • GoogleBot：由两个机器人组成，一个用于移动平台，另一个用于桌面
  • DuckDuckBot：DuckDuckGo 的机器人
  • Slurp：雅虎搜索的机器人
  • YandexBot：Yandex 的机器人
  • Baiduspider：百度的搜索引擎机器人

探索 Elasticsearch 的爬虫机器人

网络爬取的好处

虽然搜索引擎使用的网络爬取提供了用户友好的搜索体验，但商业用户也可以从网络爬取中获益。

网络爬取对商业用户的主要好处是，它使他们的网站、内容和数据可被发现，因此对业务 SEO 和搜索策略至关重要。 爬取您的网站也是在您自己的网站上为自己的搜索体验索引数据的最简单方法。 好消息是，网络爬取不会影响您网站的性能，因为它在后台运行。 定期网络爬取还有助于您管理网站的性能、搜索体验，并确保其排名最佳。

网络爬取的其他好处包括

  • 内置报告：大多数网络爬虫都具有您可以访问的报告或分析功能。 这些报告通常可以导出为电子表格或其他可读格式，并且是管理 SEO 和搜索策略的有用工具。
  • 爬取参数：作为网站管理员，您可以设置爬取速率频率规则。 您可以决定蜘蛛机器人爬取您网站的频率。 由于机器人是自动化的，因此无需每次都手动提取爬取报告。
  • 自动索引：在您的网站上使用网络爬虫可以自动索引您的数据。 您可以控制爬取和索引哪些数据，从而进一步实现自动化。
  • 潜在客户开发：爬取可以帮助您收集市场洞察力，寻找机会并在其中产生潜在客户。 作为一种自动搜索工具，它加快了原本可能是手动完成的过程。
  • 监控：网络爬虫可以帮助您监控社交媒体上提及您公司的情况，并缩短响应时间。 当用于监控时，网络爬虫可以成为有效的公关工具。

网络爬取的挑战和限制

网络爬取的主要挑战是存在大量的数据，并且这些数据不断被产生或更新。 爬虫不断寻找链接，但不太可能发现所有已产生的内容。 这部分归因于以下挑战和限制

  • 定期内容更新：搜索引擎优化策略鼓励公司定期更新其页面上的内容。 一些公司使用动态网页，这些网页会根据访问者的参与度自动调整其内容。 随着源代码的定期更改，网络爬虫必须经常重新访问页面以保持索引的最新状态。
  • 爬虫陷阱：有时，网站会故意使用爬虫陷阱来阻止蜘蛛机器人爬取某些页面。 常用的爬虫障碍是 robots.txt 文件或 noindex 元标记。 尽管它们旨在保护网站的某些部分不被爬取和索引，但它们有时可能会绊倒爬虫。 当发生这种情况时，机器人可能会陷入恶性爬取循环，从而浪费爬虫的资源和您的爬取预算。
  • 带宽压力：在下载和索引大量页面时，网络爬虫会消耗大量网络容量，从而导致网络带宽紧张。
  • 重复内容：重复内容（无论是机器错误还是人为错误造成的）都可能导致索引不准确。 当爬虫访问重复页面时，它们只会索引并对一个页面进行排名。 对于机器人来说，确定下载和索引哪个页面很困难，并且对企业来说会适得其反。

网络爬取与网络抓取

爬取和抓取的关键区别在于，网络爬取用于数据索引，而网络抓取用于数据提取。

网络抓取，也称为网络收割，通常比爬取更具针对性。 它可以在小规模和大规模上执行，并用于从站点提取数据和内容，以进行市场研究、潜在客户开发或网站测试。 网络爬取和网络抓取有时可以互换使用。

网络爬虫通常受 robots.txt 文件和 URL 边界策略等规则的约束，而网络抓取工具可能会忽略权限、非法下载内容并无视其活动可能造成的任何服务器压力。

使用 Elastic 进行网络爬取

Elastic 网络爬虫是一种 Elasticsearch 工具，使开发人员可以轻松地在其网站上索引和同步内容。 该爬虫自动处理索引，易于控制，同时可配置和可观察。

借助 Elastic 生产就绪的网络爬虫，您可以安排爬取自动运行、配置规则以及爬取经过身份验证的内容和 PDF。

使用 Elastic 探索网络爬取

网络爬取资源

脚注

1 "2023 年网络抓取的未来是什么？"，Apify 博客，2023 年 1 月