牛牛逼逼叉叉
菜单

关于搜索引擎机器人的活动情况

2014年04月23日,分类《SEO》,作者:
博客捐助

今天翻阅了一下我的网站日志,我看过很多人说360搜索引擎没有他们自己机器人(蜘蛛),今天我亲眼看到了。

我打开日志的第一眼看到的是360Spider。很多很多

360

360的机器人(蜘蛛)可以说把你的整个网站都爬取了一遍,按照顺序的一个一个爬,从你的头一直爬到尾。

360

360对网站的动态连接的爬取也很勤快,并且爬取的速度也很快,爬取到的页面都收录了。我的博客是使用wordpress搭建的

使用wordpress搭建好博客之后使用的是别人的主题,发现头部有动态代码,又去不掉,我查了一下都给360收录了

下面是360对本博客动态连接的收录情况,收录是很不错,但是标题和文章内容描述获取的不是很准确。大家可以看出来

360

robots文件大家都不陌生。下面的图里列出的搜索引擎有 宜搜、百度、谷歌、雅虎、MSN、必应。

这些搜索引擎从日志里看出都请求过robots文件,只有360没有请求,但是360也没有抓取我们在robots里的禁止内容

msn baidu bing yahoo yisou google查看日志的过程中可以可以看到301、200、404、等代码,这里以谷歌为例

google404 google google

在查看日志的时候发现百度和谷歌抓取到了不少301、404,不知道他们是从哪里抓取到的。

不过可以利用搜索引擎的小蜘蛛们来帮助我们找出死链,和网站中的问题。

从上面的所有的图里可以看出来,时间从今日0点到次日0点都有各路搜索引擎的足迹。

搜索引擎的机器人无时无刻都是你在的网页上走动,事实等待着你发布新的内容让他来抓取。

百度的机器人对首页的请求次数很多,所以把新内容放在首页对百度搜索引擎是有好处的。

谷歌机器人在日志里看到从12点之后才开始爬取我的网站,上午虽然也有他的足迹但是没有爬取我的文章地址。他爬到的都是404我也不知道这些404哪里来的。

360我把上面的话复制下来,动态、静态 他都收录,动态收录标题和描述获取还是有点小问题的。

所以如果搜索引擎的机器人们每天24小时都在我们的网站上,或者从外链进来的。

那我们的网站就要试试保持有新内容,不管是原创还是伪原创还是直接复制过来。

这是我今天看了网站日志之后想说的一些的话。



关于搜索引擎机器人的活动情况 有1条回应

  1. 2014年04月24日 在 11:17 红领巾

    自己顶一下

    回复

发表评论

电子邮件地址不会被公开。 必填项已用*标注

【上一篇】

jQuery 之父:每天都写代码

【下一篇】

17款安卓应用存在“心血”漏洞