这是《SEO新手入门系列2021系列》的第四篇内容，前面一篇已经把搜索引擎的工作原理作了简单的介绍，可能看过SEO禅以前文章的朋友会发现，有些内容其实是已经写过的，但是为什么还要再写呢？其实SEO禅也有想过这个问题，有时一篇文章写一个知识点的时候，并不会很全面，即使很多篇文章写相同的知识点，也不一定会有重复，可以用不同的角度去写，有时候写着写着就会发现新的想法，这篇文章又继续写到搜索引擎爬虫，但是SEO禅尽量用不同角度去描述，如果有相似的内容就会少写点，直接附上链接，可以自己去看看。 Robots.txt 如果要说到 搜索引擎蜘蛛 ，那肯定不能不提 robots.txt ，因为 Search Engine Spider (搜索引擎爬虫)来到网站第一件事就是去访问这个文件，下面有几点需要注意的地方： robots.txt文件是大小写敏感的，不要写成Robots.txt或者robots.TXT，这样都是不行的 这个文件必须放在 网站根目录 下 不要把一些后台管理登录界面放在这个文件内，因为这个文件是谁都可以访问的 可以把sitemap的地址放在这个文件内最底部的位置 不是所有搜索引擎爬虫都会遵守这个“君子协定的” 二级域名如subdomain.example.com都需要放置自己独立的robots.txt文件 使用robots.txt文件对于SEO来说是最基础的一步，也是最重要的一步，怎么重要？要是设置不好真的会让搜索引擎不收录你的网站的，不信的可以看看SEO禅前一段时间写的《 》，就是因为错误设置了robots规则，导致搜索引擎收录下降，还好只是设置错了一个规则，如果搜索引擎读取了错误的robots.txt文件，那很有可能整个网站就不收录了，可以看看《 》学习下robots文件的书写规则。 sitemap文件 sitemap.xml和robots.txt是直接和搜索引擎蜘蛛打交道的两个文件，sitemap主要告诉搜索引擎网站有哪些页面，robots主要告诉搜索引擎哪些网页不能访问，可以看看《 》学习下怎么写sitemap文件，SEO禅比较懒，使用的是wordpress插件生成的，再配合搜索引擎自动提交代码。 蜘蛛行为分析 前面已经说过robots.txt文件的重要性，下面SEO禅给大家分析下蜘蛛的行为，搜索引擎的蜘蛛和现实的蜘蛛很像，他们都是顺着自己的网爬，而搜索引擎蜘蛛的网就是URL地址，我们的网站内部，就是要把这个网做好，让蜘蛛能顺利的抓取每一个重要的网页，SEO禅在很多文章中提过，蜘蛛来到我们网站，都会有一个 固定的时间 ，不可能无限制的爬取，我们要尽量把网页结构安排合理，像SEO禅这种个人博客，从内容页到主页，一般就是3层结构，目录树太深，蜘蛛很难一次爬完，现在市面上的网站大多都是这种层级，只要经过鼠标的两次点击，一般就能找到内容页。 其实还有很多琐碎的内容，但是不打算写在这篇文章，以后会专门写一篇来介绍一些其它细节。 你可能想看： SEO新手入门系列2021（三）：搜索引擎工作原理 通过《SEO新手入门系列2021（二）：SEO 101》这篇文章已经简单的介绍了什么是SEO，和搜索引擎，这一篇文章来详细的介绍下搜索引擎的工作原理，搜索引擎的工作顺序大致是：抓取网页（Crawing... SEO新手入门系列2021（八）：SEO技术 SEO的从业门槛在SEO禅认为，相对其它技术类的职位要低的多，可以说没有什么门槛，但是这不代表SEO很简单，SEO需要学的东西非常的多，有些东西很细，有些东西没有技术背景理解起来就要吃力的多，比如JS... SEO新手入门系列2021（七）：站内SEO优化 前一篇文章主要围绕站内内容优化，这篇文章继续说一些站内SEO优化方法。其实想要做好站内优化，就要先把一些基础优化做好，基础的优化占到了站内优化比例90%左右，最多不到10%是属于有点技术难度的高级SE... SEO新手入门系列2021（六）：站内SEO内容篇 这是《SEO新手入门系列2021》中的第六篇文章，前面几篇文章主要是介绍了SEO中的基础知识部份，关于什么是SEO，搜索引擎的工作原理，关键词挖掘等，从这篇开始就要实际分享一些内容，SEO可以分为站内... SEO新手入门系列2021（二）：SEO 101 这是《SEO新手入门系列教程》的第二篇文章，一看标题就应该清楚这篇文章讲的是SEO基础知识，没有任何高大上的东西，如果对SEO基本概念有了解的朋友可以跳过不需要看，但是如果你是半路出家的SEOer，我... SEO新手入门系列2021（一）：SEO金字塔 seo禅最近打算翻译一些优秀的SEO优化文章，在MOZ上看到SEO入门系列，觉得写的不错，所以就打算翻译成中文，希望对SEO新人有一定帮助，这个系列文章翻译自：https://moz.com/begi... SEO新手入门系列2021（二）：SEO 101 这是《SEO新手入门系列教程》的第二篇文章，一看标题就应该清楚这篇文章讲的是SEO基础知识，没有任何高大上的东西，如果对SEO基本概念有了解的朋友可以跳过不需要看，但是如果你是半路出家的SEOer，我... SEO新手入门系列2021（五）：挖掘关键词 前面已经说完搜索引擎的工作原理，现在就和SEO禅一起来学习下SEO最重要的一部分内容，SEO关键词，很多朋友在选择目标关键词的时候没有头绪，有时候选的关键词和网站的内容也不合适，导致搜索引擎导流来的用... WordPress SEO新手入门教程（一）：基础设置优化 WordPress作为当前最流行的建站程序，市场占有率那是相当的高啊，你说一个做SEO的要是不懂做WordPress 优化，那他可能是个假SEOer，虽然说平时接的单子很多是企业的优化项目，但是最多的... 2021谷歌SEO优化入门：Google搜索引擎是怎么工作的？ 前段时间，SEO禅写了一篇SEO禅站点谷歌排名情况分析文章，记录在这段时间SEO禅在谷歌的排名情况，谷歌还是很给面子的，很多个有流量的关键词已经排名到首页，每天有真实的流量进来，许多其他的关键词也在陆...
SEO新手入门系列2021（四）：搜索引擎相关知识
2024-07-05 | 浏览: 24
这是《SEO新手入门系列2021系列》的第四篇内容，前面一篇已经把搜索引擎的工作原理作了简单的介绍，可能看过SEO禅以前文章的朋友会发现，有些内容其实是已经写过的，但是为什么还要再写呢？其实SEO禅也有想过这个问题，有时一篇文章写一个知识点的时候，并不会很全面，即使很多篇文章写相同的知识点，也不一定会有重复，可以用不同的角度去写，有时候写着写着就会发现新的想法，这篇文章又继续写到搜索引擎爬虫，但是SEO禅尽量用不同角度去描述，如果有相似的内容就会少写点，直接附上链接，可以自己去看看。
Robots.txt如果要说到 搜索引擎蜘蛛 ，那肯定不能不提
robots.txt，因为 Search Engine Spider (搜索引擎爬虫)来到网站第一件事就是去访问这个文件，下面有几点需要注意的地方：使用robots.txt文件对于SEO来说是最基础的一步，也是最重要的一步，怎么重要？要是设置不好真的会让搜索引擎不收录你的网站的，不信的可以看看SEO禅前一段时间写的《 》，就是因为错误设置了robots规则，导致搜索引擎收录下降，还好只是设置错了一个规则，如果搜索引擎读取了错误的robots.txt文件，那很有可能整个网站就不收录了，可以看看《 》学习下robots文件的书写规则。
sitemap文件sitemap.xml和robots.txt是直接和搜索引擎蜘蛛打交道的两个文件，sitemap主要告诉搜索引擎网站有哪些页面，robots主要告诉搜索引擎哪些网页不能访问，可以看看《 》学习下怎么写sitemap文件，SEO禅比较懒，使用的是wordpress插件生成的，再配合搜索引擎自动提交代码。
蜘蛛行为分析前面已经说过robots.txt文件的重要性，下面SEO禅给大家分析下蜘蛛的行为，搜索引擎的蜘蛛和现实的蜘蛛很像，他们都是顺着自己的网爬，而搜索引擎蜘蛛的网就是URL地址，我们的网站内部，就是要把这个网做好，让蜘蛛能顺利的抓取每一个重要的网页，SEO禅在很多文章中提过，蜘蛛来到我们网站，都会有一个 固定的时间 ，不可能无限制的爬取，我们要尽量把网页结构安排合理，像SEO禅这种个人博客，从内容页到主页，一般就是3层结构，目录树太深，蜘蛛很难一次爬完，现在市面上的网站大多都是这种层级，只要经过鼠标的两次点击，一般就能找到内容页。
其实还有很多琐碎的内容，但是不打算写在这篇文章，以后会专门写一篇来介绍一些其它细节。
SEO新手入门系列2021（三）：搜索引擎工作原理
通过《SEO新手入门系列2021（二）：SEO 101》这篇文章已经简单的介绍了什么是SEO，和搜索引擎，这一篇文章来详细的介绍下搜索引擎的工作原理，搜索引擎的工作顺序大致是：抓取网页（Crawing...
SEO新手入门系列2021（八）：SEO技术
SEO的从业门槛在SEO禅认为，相对其它技术类的职位要低的多，可以说没有什么门槛，但是这不代表SEO很简单，SEO需要学的东西非常的多，有些东西很细，有些东西没有技术背景理解起来就要吃力的多，比如JS...
SEO新手入门系列2021（七）：站内SEO优化
前一篇文章主要围绕站内内容优化，这篇文章继续说一些站内SEO优化方法。其实想要做好站内优化，就要先把一些基础优化做好，基础的优化占到了站内优化比例90%左右，最多不到10%是属于有点技术难度的高级SE...
SEO新手入门系列2021（六）：站内SEO内容篇
这是《SEO新手入门系列2021》中的第六篇文章，前面几篇文章主要是介绍了SEO中的基础知识部份，关于什么是SEO，搜索引擎的工作原理，关键词挖掘等，从这篇开始就要实际分享一些内容，SEO可以分为站内...
SEO新手入门系列2021（二）：SEO 101
这是《SEO新手入门系列教程》的第二篇文章，一看标题就应该清楚这篇文章讲的是SEO基础知识，没有任何高大上的东西，如果对SEO基本概念有了解的朋友可以跳过不需要看，但是如果你是半路出家的SEOer，我...
SEO新手入门系列2021（一）：SEO金字塔
seo禅最近打算翻译一些优秀的SEO优化文章，在MOZ上看到SEO入门系列，觉得写的不错，所以就打算翻译成中文，希望对SEO新人有一定帮助，这个系列文章翻译自：https://moz.com/begi...
SEO新手入门系列2021（二）：SEO 101
这是《SEO新手入门系列教程》的第二篇文章，一看标题就应该清楚这篇文章讲的是SEO基础知识，没有任何高大上的东西，如果对SEO基本概念有了解的朋友可以跳过不需要看，但是如果你是半路出家的SEOer，我...
SEO新手入门系列2021（五）：挖掘关键词
前面已经说完搜索引擎的工作原理，现在就和SEO禅一起来学习下SEO最重要的一部分内容，SEO关键词，很多朋友在选择目标关键词的时候没有头绪，有时候选的关键词和网站的内容也不合适，导致搜索引擎导流来的用...
WordPress SEO新手入门教程（一）：基础设置优化
WordPress作为当前最流行的建站程序，市场占有率那是相当的高啊，你说一个做SEO的要是不懂做WordPress 优化，那他可能是个假SEOer，虽然说平时接的单子很多是企业的优化项目，但是最多的...
2021谷歌SEO优化入门：Google搜索引擎是怎么工作的？
前段时间，SEO禅写了一篇SEO禅站点谷歌排名情况分析文章，记录在这段时间SEO禅在谷歌的排名情况，谷歌还是很给面子的，很多个有流量的关键词已经排名到首页，每天有真实的流量进来，许多其他的关键词也在陆...