百度蜘蛛爬行日志分析,探索seo的细节方法

一名合格的SEOer在做网站优化的时候，不仅仅是要做网站优化的一些事，我们还需要分析我们的网站。分析就包括一些用户访问的信息数据的分析还有就是我们网站的日志进行分析。网站日志记录了搜索引擎对我们网站的访问情况。我们可以通过网站日志来了解搜索引擎是否喜欢我们的网站。下面就给大家介绍下网站日志该怎么进行分析呢？

网站日志怎么分析？

一、在哪里找网站日志？

一般网站的日志会保存在网站空间的根目录下面，只要我们通过ftp等上传程序登陆我们网站就可以找到一个文件夹一般是以logs来进行命名的。这些可能一些新手SEOer不知道该在哪里找，也可以联系空间商来给你找一下这个文件。网站的日志一般都是以日期来进行命名的。

二、怎么进行分析？

在ftp里面找到网站日志之后，先把网站日志下载下来。打开之后可能第一眼看上去会有点晕。其实不要急。网站日志里面的内容是非常简单的，打开查找baiduspider就可以找到了。Baiduspider查找到的就是我们百度蜘蛛对我们网站的页面的一些信息。

找到baiduspider的地方那一行我们就可以开始分析了，一般有一些状态码我们需要了解的比如状态码200就表示我们的页面被百度蜘蛛成功爬行并且抓取了这个页面。后面一般还有这个页面的一些数据比如页面的数据大小等等。

220.181.108.116 – – [31/Dec/2013:03:17:17 +0800] “GET / HTTP/1.1” 200 3652 “-” “Mozilla/5.0 (compatible; Baiduspider/2.0; +)” “-”
220.181.108.112 – – [31/Dec/2013:07:56:58 +0800] “GET / HTTP/1.1” 200 3652 “-” “Mozilla/5.0 (compatible; Baiduspider/2.0; +)” “-”
220.181.108.108 – – [31/Dec/2013:08:55:43 +0800] “GET / HTTP/1.1” 200 3652 “-” “Mozilla/5.0 (compatible; Baiduspider/2.0; +)” “-”
220.181.108.80 – – [31/Dec/2013:09:57:11 +0800] “GET / HTTP/1.1” 400 39 “-” “Mozilla/5.0 (compatible; Baiduspider/2.0; +)” “-”
1
2
3
4
200状态码是网站日志中非常常见的。如果我们的某个页面没有在网站日志里面显示，那么可能就是页面没有被蜘蛛访问。这个时候我们就需要想想我们的网站是否存在结构的问题，让蜘蛛找不到我们网站的页面。如果显示的200状态码，但是实际上面搜索引擎里面显示该页面并没有被收录，那么我们就需要想想网站页面的质量问题了。

除了200状态码，还有一些就是404的状态码，这就很容易理解的404一般显示的是错误页面如果我们在进行网站日志分析的时候一定把这些页面给修改删除，然后提交死链，不能会对于用户体验是也很不好的。

这边还有很多其他的状态码在进行日志分析的时候一定要多多留心这些状态码，这些是我们做好网站的优化的必须要注意的一些可能在正常优化操作的时候不会注意的细节。

其实除了自己去看网站日志，还有很多可以使用的网站分析的工具，可以自动帮助我们把网站的日志很好的展示出来方便我们去更好的观察网站的日志。