各位站长天天都要跟各大搜索引擎的小兵（爬虫）打交道，对 robots.txt 文件肯定不会陌生，但是对于SEO小白可能都没有听过这个文件，其实这个文件内容很简单，就是和搜索引擎爬虫约好的一些规则，当爬虫来访问网站的时候，第一时间会看看网站根目录有没有robots.txt这个文件，如果有这个文件，会根据这个文件设置的规则来抓取网站的内容。 你可能想看： 错误的robots文件设置对SEO的影响 对于一个新站来说，搜索引擎爬虫来抓你的网站，他们就跟大爷一样，要好吃好喝的供着，你不能让别人自己端茶倒水，把别人累个半死，你说这样他回去会跟他主子（搜索引擎）说什么好话么？ 那怎么让他们吃好喝好呢？其... SEO蜘蛛日志分析帮手：Spider Analyser插件介绍和下载 我们在给网站做SEO优化的时候，很重要的一个工作就是分析蜘蛛爬行情况，如果蜘蛛爬都没爬你的网站，那么肯定不会有收录的。怎么观察蜘蛛爬行日志呢？奶爸这里推荐这款Spider Analyser的WordP 疯狂的谷歌Googlebot爬虫 前段时间我给SEO禅站点加了一个搜索引擎抓取记录的功能，来看一看各大搜索引擎爬虫抓取情况，基本都是谷歌的蜘蛛。 百度大部分时间抓取都是sitemap文件，偶尔抓下其它界面，这对比真的是天差地别啊，虽然... 什么才是婚姻里最重要的"家底"？ 当你发现周围的关系总是很糟糕时，你不需要去责怪自己，而是更需要好好的来理解和接纳自己，因为真正打开关系谜题的那把锁，可能就藏在你心里。 桌子乱的人都是有创造力的天才？什么？你连文件放哪都找不到…… 桌面的整洁程度不仅反映着性格，还在一定程度上影响着你的工作状态和习惯。 Google移动搜索算法更新：天劫Mobilegeddon 最近一个月英文SEO最热闹的话题是Google的移动搜索算法更新Mobilegeddon，简单说，就是在移动搜索结果中给予移动友好的页面更高排名。 谁弄砸了Facebook的IPO？- 一个就势造势的碰巧又难得的口碑传播案例 上个星期互联网行业什么新闻最火？恐怕没有比Facebook IPO更火的了。刚刚在seomoz看到一篇标题“我弄砸了Facebook的IPO”的文章，是个难得又碰巧（原作者也没想到会弄这么大）的就势造... SEO每天一贴和seobbs.net的Google排名现象 本博客SEO每天一贴和樂思蜀的seobbs.net，在google中搜索“SEO”时排名一直跳动。 "双11购物狂潮：透射消费冲动背后的心理游戏——心理学与神经科学家揭露背后的秘密 面对双11狂欢,我们如何做出理性选择呢?这里给出几点科学的建议。 站点链接，Google搜索结果中出现网站子链接的方法介绍 我们在做Google SEO的时候，经常会发现搜索竞争对手网站的时候，搜索结果会包含子链接，也就是对手网站的其他目录的链接，这个功能叫做站点链接。本文奶爸就跟大家分享一下Google站点链接的生成方法...
robots.txt文件介绍
2024-07-05 | 浏览: 25
各位站长天天都要跟各大搜索引擎的小兵（爬虫）打交道，对
robots.txt文件肯定不会陌生，但是对于SEO小白可能都没有听过这个文件，其实这个文件内容很简单，就是和搜索引擎爬虫约好的一些规则，当爬虫来访问网站的时候，第一时间会看看网站根目录有没有robots.txt这个文件，如果有这个文件，会根据这个文件设置的规则来抓取网站的内容。错误的robots文件设置对SEO的影响
对于一个新站来说，搜索引擎爬虫来抓你的网站，他们就跟大爷一样，要好吃好喝的供着，你不能让别人自己端茶倒水，把别人累个半死，你说这样他回去会跟他主子（搜索引擎）说什么好话么？ 那怎么让他们吃好喝好呢？其...
SEO蜘蛛日志分析帮手：Spider Analyser插件介绍和下载
我们在给网站做SEO优化的时候，很重要的一个工作就是分析蜘蛛爬行情况，如果蜘蛛爬都没爬你的网站，那么肯定不会有收录的。怎么观察蜘蛛爬行日志呢？奶爸这里推荐这款Spider Analyser的WordP
疯狂的谷歌Googlebot爬虫
前段时间我给SEO禅站点加了一个搜索引擎抓取记录的功能，来看一看各大搜索引擎爬虫抓取情况，基本都是谷歌的蜘蛛。 百度大部分时间抓取都是sitemap文件，偶尔抓下其它界面，这对比真的是天差地别啊，虽然...
什么才是婚姻里最重要的"家底"？
当你发现周围的关系总是很糟糕时，你不需要去责怪自己，而是更需要好好的来理解和接纳自己，因为真正打开关系谜题的那把锁，可能就藏在你心里。
桌子乱的人都是有创造力的天才？什么？你连文件放哪都找不到……
桌面的整洁程度不仅反映着性格，还在一定程度上影响着你的工作状态和习惯。
Google移动搜索算法更新：天劫Mobilegeddon
最近一个月英文SEO最热闹的话题是Google的移动搜索算法更新Mobilegeddon，简单说，就是在移动搜索结果中给予移动友好的页面更高排名。
谁弄砸了Facebook的IPO？- 一个就势造势的碰巧又难得的口碑传播案例
上个星期互联网行业什么新闻最火？恐怕没有比Facebook IPO更火的了。刚刚在seomoz看到一篇标题“我弄砸了Facebook的IPO”的文章，是个难得又碰巧（原作者也没想到会弄这么大）的就势造...
SEO每天一贴和seobbs.net的Google排名现象
本博客SEO每天一贴和樂思蜀的seobbs.net，在google中搜索“SEO”时排名一直跳动。
"双11购物狂潮：透射消费冲动背后的心理游戏——心理学与神经科学家揭露背后的秘密
面对双11狂欢,我们如何做出理性选择呢?这里给出几点科学的建议。
站点链接，Google搜索结果中出现网站子链接的方法介绍
我们在做Google SEO的时候，经常会发现搜索竞争对手网站的时候，搜索结果会包含子链接，也就是对手网站的其他目录的链接，这个功能叫做站点链接。本文奶爸就跟大家分享一下Google站点链接的生成方法...