Google解释了其不同爬虫类型的用例是什么

谷歌现在添加了新的细节来解释其谷歌爬虫属于三个类别,它们包括 Googlebot、特殊情况的爬虫和用户触发的抓取器.

此外,谷歌现在列出了一个 JSON 格式的文件,其中包含这些不同类型的爬虫使用的 IP 地址列表.

Google 爬虫的类型.在这个 Googlebot 页面的顶部,Google 列出了这三种爬虫类型：

Googlebot – Google 搜索产品的主要抓取工具.谷歌表示此爬虫始终遵守 robots.txt 规则.

特殊情况的爬虫 –执行特定功能的爬虫(例如 AdsBot),可能遵守也可能不遵守 robots.txt 规则.

用户触发的提取器——最终用户触发提取的工具和产品功能.例如,Google Site Verifier 根据用户的请求采取行动,或者某些 Google Search Console 工具将根据用户采取的操作发送给 Google 以获取页面.

IP 地址.Google 还列出了每种类型的 IP 地址范围和反向 DNS 掩码：

Googlebot – googlebot.json(抓取- – – – .googlebot.com 或 geo-crawl- – – – .geo.googlebot.com)

特例爬虫 – special-crawlers.json (rate-limited-proxy- – – – .google.com)

用户触发的 fetchers – user-triggered-fetchers.json ( – – – .gae.googleusercontent.com)

什么是新的.这是更新的页面部分;页面的其余部分大部分没有变化.

为什么我们关心.我相信谷歌在看到他们前几天宣布的GoogleOther 机器人的一些反应后做出了这一改变.这现在解释了 Google 爬虫如何行动,何时尊重 robots.txt 以及如何更好地识别它们.

现在,如果您不想阻止 Google 的主要抓取工具 Googlebot,但决定阻止其他抓取工具,则可以更准确地识别那些抓取工具.

以上就是关于"Google解释了其不同爬虫类型的用例是什么"的相关内容,希望对您有所帮助,更多SEO优化教程,敬请关注沉淀SEO.

版权声明

本站资讯除标注“原创”外的信息均来自互联网以及网友投稿,版权归属于原始作者,如果有侵犯到您的权益,请联系我们提供您的版权证明和身份证明,我们将在第一时间删除相关侵权信息,谢谢.联系地址:977916607@qq.com