疯狂的谷歌Googlebot爬虫

admin3个月前SEO大杂烩38

前段时间我给SEO禅站点加了一个搜索引擎抓取记录的功能,来看一看各大搜索引擎爬虫抓取情况,基本都是谷歌的蜘蛛。

百度大部分时间抓取都是 sitemap 文件,偶尔抓下其它界面,这对比真的是天差地别啊,虽然我知道SEO禅还在百度的观察期,这种情况最好不要进行什么骚操作,只要发一些高质量的外链和进行一些 网站内部优化 就可以,保持自己的节奏就行。

前几天我对SEO禅做了些 网站内链优化 网站外链建设 的工作,从谷歌蜘蛛爬取的频次来说是非常有效果的,但是百度蜘蛛不是特别理想,应该还是在沙盒的观察期中,不知道怎么做网站外链的朋友,可以看看《 》这篇文章。

做完外链和内链优化没几天,蜘蛛来的频率和渠道明显多了许多,可以看到很多蜘蛛的IP地址是不一样的,抓取的页面也是不同的,这说明搜索引擎蜘蛛顺着网站外链来到SEO禅站点,我也去谷歌搜索了下,发现有一些发在外链平台上的文章被其它网站集采转载了。

再看看 Google Search Console 的情况,图表中可以看到这条几乎是垂直上升的收录效果。

再用 site 指令看看具体收录了多少界面。

这是我做完网站内链和外链几天后的情况,但是实际情况并没有这么多,写文章的这两天又降回正常值,因为我总的文章数也才20多篇,加上一些标签页,目录页,不可能达到这么高的收录量,有些页面因为我改动过名字所以重复收录了一些。

很有意思的一个地方,电脑端的网页没有SEO禅的排名,但是移动端SEO禅的这篇文章却排到了第2位,因为我发到不同平台的文章会做一些不同的标记,我可以知道大概这篇文章是从哪个平台发布的,也方便追踪在哪个平台发布外链效果比较好。

现在下去主要就是把文章的数量提升,其它没有什么特别需要做的地方了,也许网站的速度还可以再优化下,也考虑看情况加个CDN,过几天就要准备去三亚长住学习冲浪潜水了,调整下生活状态。

你可能想看:

相关文章

常见搜索引擎蜘蛛用户代理(User Agent)列表

常见搜索引擎蜘蛛用户代理(User Agent)列表

说明:最近在修订《SEO实战密码》第5版,主要会增加人工智能在SEO领域应用的内容。为了缩减篇幅(第4版已经达到了可怕的555页,不大用户友好啊),我会把一些资料性的内容删减掉,不太变化的(如搜索引...

JS脚本与SEO优化

JS脚本与SEO优化

读者lin在问答板块问了一个纯技术问题,关于网站JavaScript的使用和SEO注意事项。JS的SEO是近年越来越重要的问题,以前还没写过这方面的话题。无论是异步调用内容,还是增加页面互动,现在的...

买来的域名能否保持原来的外链和权重?

买来的域名能否保持原来的外链和权重?

Google几年前就成为域名注册商,但一直没有向用户提供域名注册服务。所以大部分SEO都认为Google之所以成为域名注册商,是为了更大规模、更方便地获得域名注册信息,帮助提高搜索质量。这一点Goo...

Twitter技术问题导致抓取和URL规范化问题

Twitter技术问题导致抓取和URL规范化问题

6月27号Google工具条PR更新了一次,然后很多人注意到Twitter首页PR降为零。(Google首页也降到9,不过这不是重点。)7月19号Google居然又更新一次工具条PR。Google更...

追逐算法更新何时了?

追逐算法更新何时了?

终于胜利回到新加坡。这次颇为不顺的旅程确实不顺到底,最后过了安检,直冲登机口,险些没赶上飞机。还好,最终安全回到新加坡。 回到家做一些例行的SEO检查,有点感想,简短写一下。 做SEO的肯定定期监测...

Google内幕

Google内幕

正在加州举行的SMX West大会今天进入第二天。昨天的内容没太多值得惊喜的(虽然主题访谈是微软的鲍尔默),今天一早的主题访谈对象是现Google研发部门董事,也是前搜索质量部门董事,Peter....

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。