Mozilla/5.0 (iPhone;CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko)Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)
百度小程序蜘蛛
Mozilla/5.0 (iPhone;CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko)Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0;Smartapp; +http://www.baidu.com/search/spider.html)
Google PC蜘蛛
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36
Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 Safari/537.36; 360Spider
神马搜索PC蜘蛛
Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.81 YisouSpider/5.0 Safari/537.36
神马搜索移动蜘蛛
Mozilla/5.0 (iPhone; CPU iPhone OS 10_3 like Mac OS X) AppleWebKit/602.1.50 (KHTML, like Gecko) CriOS/56.0.2924.75 Mobile/14E5239e YisouSpider/5.0 Safari/602.1m#07)
Yandex蜘蛛
Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.268
常见搜索引擎蜘蛛用户代理(User Agent)列表
2024-07-04 | 浏览: 26
说明:最近在修订《SEO实战密码》第5版,主要会增加人工智能在SEO领域应用的内容。为了缩减篇幅(第4版已经达到了可怕的555页,不大用户友好啊),我会把一些资料性的内容删减掉,不太变化的(如搜索引擎排名因素调查、SEO观念及原则整章)做成pdf文件供读者下载,经常变化的(如百度算法更新和Google算法更新列表,以及这个常见蜘蛛用户代理列表)做成页面,并保持更新,读者可以随时看到最新信息。
下面列出常见搜索引擎蜘蛛的当前版本:
百度PC蜘蛛Mozilla/5.0(compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)
或
Mozilla/5.0(compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider. html)
百度移动蜘蛛Mozilla/5.0(Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0;+http://www. baidu.com/ search/spider.html)
或
Mozilla/5.0 (iPhone;CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko)Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)
百度小程序蜘蛛Mozilla/5.0 (iPhone;CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko)Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0;Smartapp; +http://www.baidu.com/search/spider.html)
Google PC蜘蛛Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36
其中W.X.Y.Z是Chrome浏览器版本号。Google蜘蛛从2019年开始使用最新版本的Chrome引擎抓取、渲染页面,所以这个版本号会保持更新。
或(偶尔使用)
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
或(偶尔使用)
Googlebot/2.1 (+http://www.google.com/bot.html)
Google移动蜘蛛Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Google图片蜘蛛Googlebot-Image/1.0
Google视频蜘蛛Googlebot-Video/1.0
Bing PC蜘蛛Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/
或
Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)W.X.Y.Z Safari/537.36
Bing移动蜘蛛Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 Edg/W.X.Y.Z (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
其中W.X.Y.Z是Chrome和Edge浏览器版本号。和Google一样,Bing也使用最新版本的Microsoft Edge引擎抓取、渲染页面。Edge和Chrome一样,也使用Chromium内核,所以Bing蜘蛛用户代理字符串里还包含一个Chrome版本号。
搜狗PC蜘蛛Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)
搜狗移动蜘蛛Sogou wap spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)
360搜索蜘蛛Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 Safari/537.36; 360Spider
神马搜索PC蜘蛛Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.81 YisouSpider/5.0 Safari/537.36
神马搜索移动蜘蛛Mozilla/5.0 (iPhone; CPU iPhone OS 10_3 like Mac OS X) AppleWebKit/602.1.50 (KHTML, like Gecko) CriOS/56.0.2924.75 Mobile/14E5239e YisouSpider/5.0 Safari/602.1m#07)
Yandex蜘蛛Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.268
Yandex是极少的幸存的俄罗斯搜索引擎。Chrome/81.0.4044.268是版本号,会不断更新。
搜索引擎蜘蛛抓取份额是什么?
抓取份额是搜索引擎蜘蛛花在一个网站上的抓取页面的总的时间上限。对大中型网站来说,充分利用抓取份额是个颇为重要的SEO问题,有时候会成为网站流量瓶颈。
更改搜索引擎蜘蛛的抓取速度,避免占用太多服务器资源
正常情况下,我们做Google SEO当然是希望搜索引擎蜘蛛可以天天在你网站里面爬行抓取内容,但是如果你的服务器有资源限制,那么可能Google蜘蛛太频繁的抓取你网站会导致服务器资源耗尽,或者网站打开
SEO蜘蛛日志分析帮手:Spider Analyser插件介绍和下载
我们在给网站做SEO优化的时候,很重要的一个工作就是分析蜘蛛爬行情况,如果蜘蛛爬都没爬你的网站,那么肯定不会有收录的。怎么观察蜘蛛爬行日志呢?奶爸这里推荐这款Spider Analyser的WordP
做Google SEO优化一定要知道的名词:SERP(搜索引擎结果页)
许多的外贸用户开始选择用WordPress做网站的原因之一就是为了做Google SEO。那么说到做Google SEO,就不能不知道搜索引擎结果页,SERP。本文奶爸给大家介绍下为什么要注意SERP
Karin Schlanger博士:如何简短有效地做家庭治疗(含案例示范)
它的改变是发生在我们治疗室以外。
搜索引擎自己怎么做SEO?
和其他网站一样,搜索引擎本身也需要做SEO。搜索引擎内部运营网站的团队和普通SEO们大致是站在相同的起跑线上。
SEO实验证明搜索引擎的话不可全信
我们往往很信任搜索引擎内部人的说法,但事实证明他们的话也不可全信。
2021谷歌SEO优化入门:Google搜索引擎是怎么工作的?
前段时间,SEO禅写了一篇SEO禅站点谷歌排名情况分析文章,记录在这段时间SEO禅在谷歌的排名情况,谷歌还是很给面子的,很多个有流量的关键词已经排名到首页,每天有真实的流量进来,许多其他的关键词也在陆...
2021谷歌SEO优化入门:Google搜索引擎是怎么工作的?
前段时间,SEO禅写了一篇SEO禅站点谷歌排名情况分析文章,记录在这段时间SEO禅在谷歌的排名情况,谷歌还是很给面子的,很多个有流量的关键词已经排名到首页,每天有真实的流量进来,许多其他的关键词也在陆...
SEO新手入门系列2021(四):搜索引擎相关知识
这是《SEO新手入门系列2021系列》的第四篇内容,前面一篇已经把搜索引擎的工作原理作了简单的介绍,可能看过SEO禅以前文章的朋友会发现,有些内容其实是已经写过的,但是为什么还要再写呢?其实SEO禅也...