各大搜索引擎的蜘蛛名称及识别

我们知道网站排名录是通过搜索引擎的网络爬虫机器人(也就是我们常说的蜘蛛)进行爬行-索引-收录-展现这几个阶段展示出来的,当接手一个网站后,我们通常需要查看网站IIS日志分析网站的访问情况,怎样辨别网站有没有蜘蛛来过呢?都有哪些搜索引擎的蜘蛛来过呢?这里就需要了解各大搜索引擎的蜘蛛名称,然后进行识别分析。

各大搜索引擎的蜘蛛名称

百度(Baidu)蜘蛛名称(Baiduspider)

谷歌(Google)蜘蛛名称(Googlebot)

360搜索(haosou)蜘蛛名称(360Spider)

搜狗(sogou)蜘蛛名称(sogou spider)

雅虎(Yahoo)蜘蛛名称(Yahoo Slurp)

有道(Yodao)蜘蛛名称(YodaoBot)

MSN搜索(bing)蜘蛛名称:(msnbot)

搜索引擎的蜘蛛的识别

最简单的识别搜索引擎的办法可以通过FTP工具查看网站的日志,然后搜索相对应的蜘蛛名称,就可以查看到蜘蛛有没有来过我们网站,有哪些蜘蛛来过我们的网站了,可以参考下图:

查看蜘蛛爬行记录

这个图片是我博客一天蜘蛛的访问量,从图片可以一目了然的看到搜索引擎有哪些蜘蛛来过,爬取过哪些内容,爬行状态等,所以识别搜索引擎的蜘蛛名称,通过日志分析就能把网站的访问情况摸得很清楚。

原创文章,作者:鹿北,如若转载,请注明出处:http://www.lubeiwang.com/name/678.html

发表评论

电子邮件地址不会被公开。 必填项已用*标注

联系我们

177-1034-3016

在线咨询:点击这里给我发消息

邮件:71068068@qq.com

工作时间:周一至周六,9:00-18:00,节假日休息

QR code