对于一个新站来说，搜索引擎爬虫来抓你的网站，他们就跟大爷一样，要好吃好喝的供着，你不能让别人自己端茶倒水，把别人累个半死，你说这样他回去会跟他主子（搜索引擎）说什么好话么？ 那怎么让他们吃好喝好呢？其实也简单，就是让他们少做点，我们多做点，对于一个网站，那就是把目录结构尽量扁平话，但是要掌握好一个度，凡事过了就物极必反，蜘蛛来你网站，你肯定要想办法第一时间把最好的文章，最想排名的关键词让它带走，对于站长来说唯一能和蜘蛛交流的办法，就是 robots.txt 文件了，不知道这个东西？那可以看看这篇文章先《 》 搜索引擎无用的网页 因为SEO禅这个站是使用WordPress搭建的，WordPress默认使用的是一个虚拟的robots.txt文件，内容比较简单，没有屏蔽 feed页面 ，这个页面对搜索引擎来说没什么作用，谷歌也基本不收录 所以把这些文件排除，让搜索引擎蜘蛛只抓取那些对于他们有用的文件，因为蜘蛛来抓取一个网站是有时间限制的，如果把宝贵的时间花在这些没用的内容上，对网站优化来说就太浪费了。 错误的robots.txt规则 因为图省事，我就去网上找了一段robots.txt适用于WordPress的规则，当时也没多想，只直接写入到文件里面，但是没过两天，Google Search Console既然有错误提示？ 说我移动设备兼容有问题？不可能啊，我前一段时间刚花了一天时间做了响应式布局的？难道我老了不中用了？响应式写错了？带着这么多疑问，我看了错误提示： 原来我上次的骚操作，把 wp-content 内部的资源文件屏蔽了，下面是我修改以后完整的robots.txt文件内容，可以作为参考： 上面这些规则简单的介绍下： 1、Disallow: /wp-admin/、Disallow: /wp-content/和Disallow: /wp-includes/ 用于告诉搜索引擎不要抓取后台程序文件页面。 2、Disallow: /*/comment-page-*和Disallow: /*?replytocom=* 禁止搜索引擎抓取评论分页等相关链接。 3、Disallow: /category/*/page/和Disallow: /tag/*/page/ 禁止搜索引擎抓取收录分类和标签的分页。 4、Disallow: /*/trackback 禁止搜索引擎抓取收录trackback等垃圾信息 5、Disallow: /feed、Disallow: /*/feed和Disallow: /comments/feed 禁止搜索引擎抓取收录feed链接，feed只用于订阅本站，与搜索引擎无关。 6、Disallow: /?s=*和Disallow: /*/?s=*\ 禁止搜索引擎抓取站内搜索结果 7、Disallow: /attachment/ 禁止搜索引擎抓取附件页面，比如毫无意义的图片附件页面。 8、Allow: /wp-content/uploads/ 允许搜索引擎抓取资源文件，这个很重要，可以用来判断移动设备兼容性 因为这个操作，导致谷歌对SEO禅的收录不升还降了一点，我重新配置了robots.txt文件，观察一下过几天的情况再看看。 你可能想看： robots.txt文件介绍 各位站长天天都要跟各大搜索引擎的小兵（爬虫）打交道，对robots.txt文件肯定不会陌生，但是对于SEO小白可能都没有听过这个文件，其实这个文件内容很简单，就是和搜索引擎爬虫约好的一些规则，当爬虫来... 怎么理解精神科医生那句：“你的认知是错误的。” 人的感觉永远是正确的，它从不空穴来风，只是它的起源太遥远、太古老，我们逐渐听不见、看不见它来时的风了。 疯狂的谷歌Googlebot爬虫 前段时间我给SEO禅站点加了一个搜索引擎抓取记录的功能，来看一看各大搜索引擎爬虫抓取情况，基本都是谷歌的蜘蛛。 百度大部分时间抓取都是sitemap文件，偶尔抓下其它界面，这对比真的是天差地别啊，虽然... 什么才是婚姻里最重要的"家底"？ 当你发现周围的关系总是很糟糕时，你不需要去责怪自己，而是更需要好好的来理解和接纳自己，因为真正打开关系谜题的那把锁，可能就藏在你心里。 同一个服务器有多个网站对SEO有影响吗？ 相信很多站长在开始建站的时候都有一个疑虑，那就是一个服务器上面放多个网站会不会影响到SEO优化效果？SEO禅帮企业做SEO优化的时候，基本都是推荐一个IP，一个服务器放一个网站，这样在优化网站排名的时... 人如其名？| 姓名对人多方面的影响 如果现在告诉你，姓名可能真的能影响人的命运，你敢信吗？ 原生家庭对婚姻关系的影响及应对 原生家庭中的儿子或者女儿会观察和习得父亲或者母亲的家庭角色，从而在新的家庭生活中依据原生家庭中父母角色的特点来扮演丈夫或者妻子的角色。 SEO每天一贴和seobbs.net的Google排名现象 本博客SEO每天一贴和樂思蜀的seobbs.net，在google中搜索“SEO”时排名一直跳动。 使用Google Search Console监测网站的Review Snippet评分数据 怎么监测自己网站在Google搜索结果中的评分图标的数据呢？在这之前没有特别好的办法，不过Google日前宣布，在Google Search Console里面添加了评分摘要部分的数据信息，所以以后网 为什么SEO插件都没有设置keywords选项了？ 我们再谈SEO的时候，就总离不开keywords这个词。 keywords，关键词，作为我们做Google SEO必须接触的词语，包括网络上的SEO教程里面提到的TDK标签，所以新手在做SEO的时候别...
错误的robots文件设置对SEO的影响
2024-07-05 | 浏览: 25
对于一个新站来说，搜索引擎爬虫来抓你的网站，他们就跟大爷一样，要好吃好喝的供着，你不能让别人自己端茶倒水，把别人累个半死，你说这样他回去会跟他主子（搜索引擎）说什么好话么？
那怎么让他们吃好喝好呢？其实也简单，就是让他们少做点，我们多做点，对于一个网站，那就是把目录结构尽量扁平话，但是要掌握好一个度，凡事过了就物极必反，蜘蛛来你网站，你肯定要想办法第一时间把最好的文章，最想排名的关键词让它带走，对于站长来说唯一能和蜘蛛交流的办法，就是
搜索引擎无用的网页robots.txt文件了，不知道这个东西？那可以看看这篇文章先《 》因为SEO禅这个站是使用WordPress搭建的，WordPress默认使用的是一个虚拟的robots.txt文件，内容比较简单，没有屏蔽
feed页面，这个页面对搜索引擎来说没什么作用，谷歌也基本不收录所以把这些文件排除，让搜索引擎蜘蛛只抓取那些对于他们有用的文件，因为蜘蛛来抓取一个网站是有时间限制的，如果把宝贵的时间花在这些没用的内容上，对网站优化来说就太浪费了。
错误的robots.txt规则因为图省事，我就去网上找了一段robots.txt适用于WordPress的规则，当时也没多想，只直接写入到文件里面，但是没过两天，Google Search Console既然有错误提示？
说我移动设备兼容有问题？不可能啊，我前一段时间刚花了一天时间做了响应式布局的？难道我老了不中用了？响应式写错了？带着这么多疑问，我看了错误提示：
原来我上次的骚操作，把
wp-content内部的资源文件屏蔽了，下面是我修改以后完整的robots.txt文件内容，可以作为参考：上面这些规则简单的介绍下：
1、Disallow: /wp-admin/、Disallow: /wp-content/和Disallow: /wp-includes/
用于告诉搜索引擎不要抓取后台程序文件页面。
2、Disallow: /*/comment-page-*和Disallow: /*?replytocom=*
禁止搜索引擎抓取评论分页等相关链接。
3、Disallow: /category/*/page/和Disallow: /tag/*/page/
禁止搜索引擎抓取收录分类和标签的分页。
4、Disallow: /*/trackback
禁止搜索引擎抓取收录trackback等垃圾信息
5、Disallow: /feed、Disallow: /*/feed和Disallow: /comments/feed
禁止搜索引擎抓取收录feed链接，feed只用于订阅本站，与搜索引擎无关。
6、Disallow: /?s=*和Disallow: /*/?s=*\
禁止搜索引擎抓取站内搜索结果
7、Disallow: /attachment/
禁止搜索引擎抓取附件页面，比如毫无意义的图片附件页面。
8、Allow: /wp-content/uploads/
允许搜索引擎抓取资源文件，这个很重要，可以用来判断移动设备兼容性
因为这个操作，导致谷歌对SEO禅的收录不升还降了一点，我重新配置了robots.txt文件，观察一下过几天的情况再看看。
robots.txt文件介绍
各位站长天天都要跟各大搜索引擎的小兵（爬虫）打交道，对robots.txt文件肯定不会陌生，但是对于SEO小白可能都没有听过这个文件，其实这个文件内容很简单，就是和搜索引擎爬虫约好的一些规则，当爬虫来...
怎么理解精神科医生那句：“你的认知是错误的。”
人的感觉永远是正确的，它从不空穴来风，只是它的起源太遥远、太古老，我们逐渐听不见、看不见它来时的风了。
疯狂的谷歌Googlebot爬虫
前段时间我给SEO禅站点加了一个搜索引擎抓取记录的功能，来看一看各大搜索引擎爬虫抓取情况，基本都是谷歌的蜘蛛。 百度大部分时间抓取都是sitemap文件，偶尔抓下其它界面，这对比真的是天差地别啊，虽然...
什么才是婚姻里最重要的"家底"？
当你发现周围的关系总是很糟糕时，你不需要去责怪自己，而是更需要好好的来理解和接纳自己，因为真正打开关系谜题的那把锁，可能就藏在你心里。
同一个服务器有多个网站对SEO有影响吗？
相信很多站长在开始建站的时候都有一个疑虑，那就是一个服务器上面放多个网站会不会影响到SEO优化效果？SEO禅帮企业做SEO优化的时候，基本都是推荐一个IP，一个服务器放一个网站，这样在优化网站排名的时...
人如其名？| 姓名对人多方面的影响
如果现在告诉你，姓名可能真的能影响人的命运，你敢信吗？
原生家庭对婚姻关系的影响及应对
原生家庭中的儿子或者女儿会观察和习得父亲或者母亲的家庭角色，从而在新的家庭生活中依据原生家庭中父母角色的特点来扮演丈夫或者妻子的角色。
SEO每天一贴和seobbs.net的Google排名现象
本博客SEO每天一贴和樂思蜀的seobbs.net，在google中搜索“SEO”时排名一直跳动。
使用Google Search Console监测网站的Review Snippet评分数据
怎么监测自己网站在Google搜索结果中的评分图标的数据呢？在这之前没有特别好的办法，不过Google日前宣布，在Google Search Console里面添加了评分摘要部分的数据信息，所以以后网
为什么SEO插件都没有设置keywords选项了？
我们再谈SEO的时候，就总离不开keywords这个词。 keywords，关键词，作为我们做Google SEO必须接触的词语，包括网络上的SEO教程里面提到的TDK标签，所以新手在做SEO的时候别...