我们在给网站做 的时候，很重要的一个工作就是分析蜘蛛爬行情况，如果蜘蛛爬都没爬你的网站，那么肯定不会有收录的。怎么观察蜘蛛爬行日志呢？奶爸这里推荐这款Spider Analyser的WordPress插件，简单好用。 文章目录 本文谈到的蜘蛛指各种搜索引擎的爬虫机器人，因为他们会顺着你网站的链接一条一条的爬，所以我们都称之为搜索引擎蜘蛛。 网络爬虫（又称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。 互联网上面充斥着各种各样的网络爬虫，其中包括搜索引擎的蜘蛛，例如百度、bing、Google这些的bot机器人，另外还有很多垃圾机器人爬虫，例如MJ12Bot、AhrefsBot、MauiBot等。 垃圾爬虫会额外占用服务器资源，一些小服务器搞不好就被垃圾爬虫给爬挂掉了，导致网站无法访问，所以我们需要时常观察网站是否有被垃圾爬虫爬行，也需要时常关注搜索引擎的爬虫是否过来抓取了页面，频率怎样，从而进行针对性的SEO调整。 Spider Analyser是一款用于跟踪WordPress网站各种搜索引擎蜘蛛爬行日志，并进行详细的蜘蛛爬行数据统计、蜘蛛行为分析、蜘蛛爬取分析及伪蜘蛛拦截等。 这款插件分为免费和Pro两个版本，免费版你可以直接在WordPress后台插件库里面搜索安装，本文演示的部分功能只有Pro版本才有。 在蜘蛛统计这里，我们可以看到来你网站抓取次数最多的搜索引擎或者网络爬虫有哪些。 上图中可以看到，奶爸建站笔记每天Google抓取次数最多，第二名是MauiBot，搜索发现是一个垃圾爬虫，待会儿直接给他屏蔽了，浪费服务器资源又带不来流量。 从这里可以看到网站上哪几个URL是蜘蛛最多爬取的，可以适当的在这些页面给你一些新发布的或者想要提升权重的文章插入一个内链，引导蜘蛛过去爬行抓取。 热门文章同理，也可以给你其他文章插入内链进行蜘蛛引导。 然后还能查看收录状态，发现未收录的文章，我们可以检查下文章质量，然后提交给搜索引擎抓取。 点击网址数量后面的图标，可以查看具体蜘蛛爬行情况，例如上图中，我们可以看到这个名为coccocbot的蜘蛛对网站的sitemap进行了爬行。 然后奶爸网上搜了下，这个搜索引擎是越南的，对于我们中文网站来说，越南搜索引擎的抓取是毫无意义的，所以可以直接拦截。这个拦截是直接服务器上拦截，而不是借助robots.txt，简单粗暴有效。 在蜘蛛列表里面，我们可以看到蜘蛛清单、蜘蛛IP段、疑似伪蜘蛛、蜘蛛拦截。 上图中的这个SemrushBot是著名的SEO工具家的机器人，如果你不想让人把你网站分析的太彻底，那么可以直接屏蔽他的爬行，而至于这个IP是不是真的伪装的机器人不是很好判断，虽然从IP查询来看是上海IP，最好是去蜘蛛官网搜一下官方的IP段来判断。 访问路径可以把你网站蜘蛛访问情况给图示出来，如果你是电商网站，那么应该要关注下产品页的爬行比重，从而进行针对性的优化。 文章爬取这个功能，可以看到是否收录，蜘蛛访问量，出入链接数量。 这里着重看有蜘蛛爬行但是没有收录的页面，以及考虑是否插入出入链接来进行链接建设。 Spider Analyser分为免费版和专业版，下面是两个版本的功能区别。 免费版插件可以直接从WordPress后台的插件库里面搜索了安装。 专业版请从下方链接购买后下载上传安装。 你可能想看： robots.txt文件介绍 各位站长天天都要跟各大搜索引擎的小兵（爬虫）打交道，对robots.txt文件肯定不会陌生，但是对于SEO小白可能都没有听过这个文件，其实这个文件内容很简单，就是和搜索引擎爬虫约好的一些规则，当爬虫来... Google用于麻痹Spammer的专利 现在SEO的日子越来越不好过了，部分spammer就更提心吊胆了。当然，还有一部分spammer早就做好心理准备了，是无所谓的。 前几天SEO by the Sea介绍了Google刚刚获得的一项专利... Developer Tools在SEO中的运用: Network介绍篇 如果是做前端开发的朋友，对Developer Tools一定不陌生，在我学习前端开发的时候，基本上都是用谷歌浏览器进行开发调试，因为Google浏览器集成了非常好用的Developer Tools，当... 常见搜索引擎蜘蛛用户代理（User Agent）列表 最近在修订《SEO实战密码》第5版。为了缩减篇幅，我会把一些资料性的内容删减掉，做成页面，并保持更新，读者可以随时看到最新信息。 网络营销实战密码电子版下载 网络营销实战密码已经第三次印刷。 自己建网站怎么添加Google Analytics统计代码查看每日流量 自己安装WordPress网站后怎么知道网站有没有流量，每天有多少人访问，又是从哪里访问的你网站呢？ 想要知道自己的网站有多少人访问，我们可以给网站添加一个统计代码，如果是外贸soho自建站，那么首先 创造幸福，从此刻开始 | 积极心理学的SPIRE幸福模型 我们都具备改变自身境遇、增添幸福感的力量。 SEO工具：Lighthouse基础优化介绍2021 今天SEO禅要给大家分享的是谷歌的开源SEO工具：Lighthouse，说是SEO工具也不是很准确，它其实是一款前端性能分析工具，有两种使用方式，一种是Chrome插件形式，另一种是命令行形式，本文主... WordPress最佳中文网站SEO插件推荐：Smart SEO Tool WordPress的SEO插件很多，之前奶爸推荐的外贸网站建议使用Rank Math，不过也有不少用户是使用WordPress搭建的中文网站，那么中文网站推荐使用这款Smart SEO Tool插件来 WordPress SEO优化教程和SEO插件推荐（2024年更新） 随着越来越多的企业选择使用WordPress建站，随之而来的WordPress SEO优化需求也不断增加，WordPress本身的结构就符合SEO优化的基础需求，通过一些SEO插件和SEO技巧的配合，
SEO蜘蛛日志分析帮手：Spider Analyser插件介绍和下载
2024-07-05 | 浏览: 25
我们在给网站做 的时候，很重要的一个工作就是分析蜘蛛爬行情况，如果蜘蛛爬都没爬你的网站，那么肯定不会有收录的。怎么观察蜘蛛爬行日志呢？奶爸这里推荐这款Spider Analyser的WordPress插件，简单好用。
文章目录
本文谈到的蜘蛛指各种搜索引擎的爬虫机器人，因为他们会顺着你网站的链接一条一条的爬，所以我们都称之为搜索引擎蜘蛛。
网络爬虫（又称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。
互联网上面充斥着各种各样的网络爬虫，其中包括搜索引擎的蜘蛛，例如百度、bing、Google这些的bot机器人，另外还有很多垃圾机器人爬虫，例如MJ12Bot、AhrefsBot、MauiBot等。
垃圾爬虫会额外占用服务器资源，一些小服务器搞不好就被垃圾爬虫给爬挂掉了，导致网站无法访问，所以我们需要时常观察网站是否有被垃圾爬虫爬行，也需要时常关注搜索引擎的爬虫是否过来抓取了页面，频率怎样，从而进行针对性的SEO调整。
Spider Analyser是一款用于跟踪WordPress网站各种搜索引擎蜘蛛爬行日志，并进行详细的蜘蛛爬行数据统计、蜘蛛行为分析、蜘蛛爬取分析及伪蜘蛛拦截等。
这款插件分为免费和Pro两个版本，免费版你可以直接在WordPress后台插件库里面搜索安装，本文演示的部分功能只有Pro版本才有。
在蜘蛛统计这里，我们可以看到来你网站抓取次数最多的搜索引擎或者网络爬虫有哪些。
上图中可以看到，奶爸建站笔记每天Google抓取次数最多，第二名是MauiBot，搜索发现是一个垃圾爬虫，待会儿直接给他屏蔽了，浪费服务器资源又带不来流量。
从这里可以看到网站上哪几个URL是蜘蛛最多爬取的，可以适当的在这些页面给你一些新发布的或者想要提升权重的文章插入一个内链，引导蜘蛛过去爬行抓取。
热门文章同理，也可以给你其他文章插入内链进行蜘蛛引导。
然后还能查看收录状态，发现未收录的文章，我们可以检查下文章质量，然后提交给搜索引擎抓取。
点击网址数量后面的图标，可以查看具体蜘蛛爬行情况，例如上图中，我们可以看到这个名为coccocbot的蜘蛛对网站的sitemap进行了爬行。
然后奶爸网上搜了下，这个搜索引擎是越南的，对于我们中文网站来说，越南搜索引擎的抓取是毫无意义的，所以可以直接拦截。这个拦截是直接服务器上拦截，而不是借助robots.txt，简单粗暴有效。
在蜘蛛列表里面，我们可以看到蜘蛛清单、蜘蛛IP段、疑似伪蜘蛛、蜘蛛拦截。
上图中的这个SemrushBot是著名的SEO工具家的机器人，如果你不想让人把你网站分析的太彻底，那么可以直接屏蔽他的爬行，而至于这个IP是不是真的伪装的机器人不是很好判断，虽然从IP查询来看是上海IP，最好是去蜘蛛官网搜一下官方的IP段来判断。
访问路径可以把你网站蜘蛛访问情况给图示出来，如果你是电商网站，那么应该要关注下产品页的爬行比重，从而进行针对性的优化。
文章爬取这个功能，可以看到是否收录，蜘蛛访问量，出入链接数量。
这里着重看有蜘蛛爬行但是没有收录的页面，以及考虑是否插入出入链接来进行链接建设。
Spider Analyser分为免费版和专业版，下面是两个版本的功能区别。
免费版插件可以直接从WordPress后台的插件库里面搜索了安装。
专业版请从下方链接购买后下载上传安装。
robots.txt文件介绍
各位站长天天都要跟各大搜索引擎的小兵（爬虫）打交道，对robots.txt文件肯定不会陌生，但是对于SEO小白可能都没有听过这个文件，其实这个文件内容很简单，就是和搜索引擎爬虫约好的一些规则，当爬虫来...
Google用于麻痹Spammer的专利
现在SEO的日子越来越不好过了，部分spammer就更提心吊胆了。当然，还有一部分spammer早就做好心理准备了，是无所谓的。 前几天SEO by the Sea介绍了Google刚刚获得的一项专利...
Developer Tools在SEO中的运用: Network介绍篇
如果是做前端开发的朋友，对Developer Tools一定不陌生，在我学习前端开发的时候，基本上都是用谷歌浏览器进行开发调试，因为Google浏览器集成了非常好用的Developer Tools，当...
常见搜索引擎蜘蛛用户代理（User Agent）列表
最近在修订《SEO实战密码》第5版。为了缩减篇幅，我会把一些资料性的内容删减掉，做成页面，并保持更新，读者可以随时看到最新信息。
网络营销实战密码电子版下载
网络营销实战密码已经第三次印刷。
自己建网站怎么添加Google Analytics统计代码查看每日流量
自己安装WordPress网站后怎么知道网站有没有流量，每天有多少人访问，又是从哪里访问的你网站呢？ 想要知道自己的网站有多少人访问，我们可以给网站添加一个统计代码，如果是外贸soho自建站，那么首先
创造幸福，从此刻开始 | 积极心理学的SPIRE幸福模型
我们都具备改变自身境遇、增添幸福感的力量。
SEO工具：Lighthouse基础优化介绍2021
今天SEO禅要给大家分享的是谷歌的开源SEO工具：Lighthouse，说是SEO工具也不是很准确，它其实是一款前端性能分析工具，有两种使用方式，一种是Chrome插件形式，另一种是命令行形式，本文主...
WordPress最佳中文网站SEO插件推荐：Smart SEO Tool
WordPress的SEO插件很多，之前奶爸推荐的外贸网站建议使用Rank Math，不过也有不少用户是使用WordPress搭建的中文网站，那么中文网站推荐使用这款Smart SEO Tool插件来
WordPress SEO优化教程和SEO插件推荐（2024年更新）
随着越来越多的企业选择使用WordPress建站，随之而来的WordPress SEO优化需求也不断增加，WordPress本身的结构就符合SEO优化的基础需求，通过一些SEO插件和SEO技巧的配合，