正常情况下，我们做Google SEO当然是希望搜索引擎蜘蛛可以天天在你网站里面爬行抓取内容，但是如果你的服务器有资源限制，那么可能Google蜘蛛太频繁的抓取你网站会导致服务器资源耗尽，或者网站打开缓慢的情况发生。 在这种情况下，我们就可以考虑适当的降低搜索引擎的抓取速度，以保证网站可以正常打开访问，不会被蜘蛛爬挂。 Google 采用先进的算法来确定最佳的网站抓取速度，Google搜索蜘蛛每次访问您的网站时，在不导致您的服务器带宽过载的情况下尽可能多地抓取网页。 如果 Google 每秒向网站发出的请求过多，导致服务器的速度下降，您可以限制 Google 抓取您网站的速度。 您可以限制对根级网站（例如 www.example.com 和 http://subdomain.example.com）的抓取速度。您设置的抓取速度是 Googlebot 的抓取速度上限。请注意，Googlebot 并不一定会达到这一上限。 除非您发现服务器出现负载问题并确定该问题是由于 Googlebot 过于频繁地访问您的服务器导致的，否则我们建议您不要限制抓取速度。 您无法更改对非根级网站（例如 www.example.com/folder）的抓取速度。 具体限制方法： 打开资源的 。 除了单独设置外，还可以使用 的Crawl-delay指令来设置搜索引擎抓取频率。 大多数的搜索引擎都支持 Crawl-delay 参数，设置为多少秒，以等待同服务器之间连续请求： 你只需要把上面的代码添加到你网站的robots.txt文件里面，等待搜索引擎的蜘蛛抓取并识别就可以了。 对于蜘蛛把网站抓挂的情况虽然很少碰见，不过确实有这种情况发生，对于普通的外贸企业网站，本身都没有多少内容的，蜘蛛也没有必要24小时频繁的抓取资源，毕竟网站速度如果被拖慢了，又影响SEO效果，也影响用户体验。 所以当你发现你网站疯狂被蜘蛛抓取的时候，就可以考虑这样操作了。 相关文章： 你可能想看： 搜索引擎蜘蛛抓取份额是什么？ 抓取份额是搜索引擎蜘蛛花在一个网站上的抓取页面的总的时间上限。对大中型网站来说，充分利用抓取份额是个颇为重要的SEO问题，有时候会成为网站流量瓶颈。 常见搜索引擎蜘蛛用户代理（User Agent）列表 最近在修订《SEO实战密码》第5版。为了缩减篇幅，我会把一些资料性的内容删减掉，做成页面，并保持更新，读者可以随时看到最新信息。 网站服务器安全优化-CORS跨域资源共享 做过前端开发的小伙伴肯定会遇到下面这样报红的error经历： 如果没有遇到，那你就还需要多努力努力了，这个错误就是今天SEO禅要说的CORS（Cross-origin resource sharing... 搞清楚这7个问题，避免在亲密关系中自欺欺人 他们意识到以自我牺牲来取悦对方或避免失去，到头来只会使关系破裂。 Google正式上线：页面速度影响移动搜索排名 做SEO的肯定都知道，页面打开速度是搜索排名因素之一。不过有点令人迷惑的是，Google从2010年就开始的页面速度影响排名指的是PC搜索，并不是移动搜索。 同一个服务器多个网站（虚拟主机）会影响SEO吗？ 一个服务器下面有多个网站，且这些网站做的关键词基本都差不多，但架构内容都不一样，他们之间会相互影响SEO排名吗？搜索引擎（百度）会如何看待这些网站？ 怎样迁移网站服务器和域名？ 想要迁移网站，内容不变，但域名不同，服务器也不同，该如何整站迁移又不影响排名和SEO？ 同一个服务器有多个网站对SEO有影响吗？ 相信很多站长在开始建站的时候都有一个疑虑，那就是一个服务器上面放多个网站会不会影响到SEO优化效果？SEO禅帮企业做SEO优化的时候，基本都是推荐一个IP，一个服务器放一个网站，这样在优化网站排名的时... 2021网站服务器安全优化-SQL注入攻击 为什么SEO禅的博客不像其他SEO同行，SEO公司一样都是说SEO的内容呢？因为想做好SEO优化可以很简单，也可以不简单，很简单的方法大家应该都知道，那就是用一些手段让排名暂时靠前，不简单是因为，真要... 2021网站服务器安全优化-跨站请求伪造攻击CSRF SEO禅在上一篇文章跨站脚本攻击XSS中介绍了客户端最常见的安全攻击漏洞，今天再来介绍一个同样很热门的一种攻击方法CSRF跨站请求伪造攻击，CSRF英文全称：cross-site request fo...
更改搜索引擎蜘蛛的抓取速度，避免占用太多服务器资源
2024-07-05 | 浏览: 24
正常情况下，我们做Google SEO当然是希望搜索引擎蜘蛛可以天天在你网站里面爬行抓取内容，但是如果你的服务器有资源限制，那么可能Google蜘蛛太频繁的抓取你网站会导致服务器资源耗尽，或者网站打开缓慢的情况发生。
在这种情况下，我们就可以考虑适当的降低搜索引擎的抓取速度，以保证网站可以正常打开访问，不会被蜘蛛爬挂。
Google 采用先进的算法来确定最佳的网站抓取速度，Google搜索蜘蛛每次访问您的网站时，在不导致您的服务器带宽过载的情况下尽可能多地抓取网页。
如果 Google 每秒向网站发出的请求过多，导致服务器的速度下降，您可以限制 Google 抓取您网站的速度。
您可以限制对根级网站（例如 www.example.com 和 http://subdomain.example.com）的抓取速度。您设置的抓取速度是 Googlebot 的抓取速度上限。请注意，Googlebot 并不一定会达到这一上限。
除非您发现服务器出现负载问题并确定该问题是由于 Googlebot 过于频繁地访问您的服务器导致的，否则我们建议您不要限制抓取速度。
您无法更改对非根级网站（例如 www.example.com/folder）的抓取速度。
具体限制方法：
打开资源的 。
除了单独设置外，还可以使用 的Crawl-delay指令来设置搜索引擎抓取频率。
大多数的搜索引擎都支持
Crawl-delay参数，设置为多少秒，以等待同服务器之间连续请求：你只需要把上面的代码添加到你网站的robots.txt文件里面，等待搜索引擎的蜘蛛抓取并识别就可以了。
对于蜘蛛把网站抓挂的情况虽然很少碰见，不过确实有这种情况发生，对于普通的外贸企业网站，本身都没有多少内容的，蜘蛛也没有必要24小时频繁的抓取资源，毕竟网站速度如果被拖慢了，又影响SEO效果，也影响用户体验。
所以当你发现你网站疯狂被蜘蛛抓取的时候，就可以考虑这样操作了。
相关文章：
搜索引擎蜘蛛抓取份额是什么？
抓取份额是搜索引擎蜘蛛花在一个网站上的抓取页面的总的时间上限。对大中型网站来说，充分利用抓取份额是个颇为重要的SEO问题，有时候会成为网站流量瓶颈。
常见搜索引擎蜘蛛用户代理（User Agent）列表
最近在修订《SEO实战密码》第5版。为了缩减篇幅，我会把一些资料性的内容删减掉，做成页面，并保持更新，读者可以随时看到最新信息。
网站服务器安全优化-CORS跨域资源共享
做过前端开发的小伙伴肯定会遇到下面这样报红的error经历： 如果没有遇到，那你就还需要多努力努力了，这个错误就是今天SEO禅要说的CORS（Cross-origin resource sharing...
搞清楚这7个问题，避免在亲密关系中自欺欺人
他们意识到以自我牺牲来取悦对方或避免失去，到头来只会使关系破裂。
Google正式上线：页面速度影响移动搜索排名
做SEO的肯定都知道，页面打开速度是搜索排名因素之一。不过有点令人迷惑的是，Google从2010年就开始的页面速度影响排名指的是PC搜索，并不是移动搜索。
同一个服务器多个网站（虚拟主机）会影响SEO吗？
一个服务器下面有多个网站，且这些网站做的关键词基本都差不多，但架构内容都不一样，他们之间会相互影响SEO排名吗？搜索引擎（百度）会如何看待这些网站？
怎样迁移网站服务器和域名？
想要迁移网站，内容不变，但域名不同，服务器也不同，该如何整站迁移又不影响排名和SEO？
同一个服务器有多个网站对SEO有影响吗？
相信很多站长在开始建站的时候都有一个疑虑，那就是一个服务器上面放多个网站会不会影响到SEO优化效果？SEO禅帮企业做SEO优化的时候，基本都是推荐一个IP，一个服务器放一个网站，这样在优化网站排名的时...
2021网站服务器安全优化-SQL注入攻击
为什么SEO禅的博客不像其他SEO同行，SEO公司一样都是说SEO的内容呢？因为想做好SEO优化可以很简单，也可以不简单，很简单的方法大家应该都知道，那就是用一些手段让排名暂时靠前，不简单是因为，真要...
2021网站服务器安全优化-跨站请求伪造攻击CSRF
SEO禅在上一篇文章跨站脚本攻击XSS中介绍了客户端最常见的安全攻击漏洞，今天再来介绍一个同样很热门的一种攻击方法CSRF跨站请求伪造攻击，CSRF英文全称：cross-site request fo...