网站的优化工作很重要的一个环节就是要让搜索引擎蜘蛛到网站上来抓取内容，如果搜索引擎蜘蛛都不来网站，那网站的内容再多在丰富也是没有用的。
　　整个互联网形如一张网，搜索引擎的抓取程序就是通过这些一个一个的连接来抓取页面内容的，所以搜索引擎被形象的叫做蜘蛛或网络爬虫。网络爬虫是搜索引擎的一个自动的抓取页面的程序。搜索引擎蜘蛛通过跟踪连接访问页面。获得页面HTML代码存入数据库。爬行和抓取是搜索引擎工作的第一步，也就是数据收集的任务。然后就是预处理以及根据算法排名。
　　对于站长来说，网站的第一步就是解决收录问题，我们每天都在更新，可有时就是不收录。我们要想得到收录和蜘蛛的青睐，你就要懂得蜘蛛的爬行原理和规律。要学习和研究蜘蛛爬行规律，分析网站的访问日志是重要的一项工作。下面我们来介绍如何查看网站的访问日志。

针对WDCP面板 设置Apache日志记录蜘蛛爬行
1、首页，你要在 “站点编辑” 里面把 "开启访问日志 " 这个选项打勾
2、配置vhost 里面对应站点的 conf 文件（ /www/wdlinux/apache/conf/vhost）
把 CustomLog "/www/web_logs/你的域名_access_log" common 这一行的  common 修改成 combined
也就是修改成 CustomLog "/www/web_logs/你的域名_access_log" combined
修改完后保存一下。
3、请确认CustomLog没有被#号注释掉，把 /www/wdlinux/apache/conf/httpd.conf  这个文件也改一下
把 #CustomLog "logs/access_log" combined  这一句前面的 # 去掉，然后再重启web服务

4、重新启动web服务，测试一下效果
好了，以上操作应该是可以实现效果了，希望大家都可以操作成功

特别提醒，针对WDCP面板，如果在站点设置里面修改了其他设置，保存之后站点对应的conf配置文件会自动覆盖掉。或者点击了“更新所有站 点配置”，对应的conf配置文件也会覆盖掉你手动添加的代码。到时候默认的设置还会是：CustomLog "/www/web_logs/你的域名_access_log" common，然后又得去手动改一下。我找到一个完美解决的办法，其他地方都不要动，也不用去修改站点的conf配置文件。
直接修改apache默认的httpd.conf配置文件。打开/www/wdlinux/apache/conf/httpd.conf。找到：
LogFormat "%h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\"" combined
LogFormat "%h %l %u %t \"%r\" %>s %b" common

把common和combined交换一下就行了，最终的代码：
LogFormat "%h %l %u %t \"%r\" %>s %b" combined
LogFormat "%h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\"" common

上传后重启一下web服务就可以了。
原理就是在“站点编辑” 里面 "开启访问日志"后，默认是添加的CustomLog "/www/web_logs/你的域名_access_log" common 这段代码，生效的就是httpd.conf里面common的配置，改一下默认的common的配置就OK了。

针对单个主机的配置方案 设置Apache日志记录蜘蛛爬行
1、打开httpd.conf文件找到以下部分：LogFormat
“%h %l %u %t \”%r\” %>s %b \”%{Referer}i\” \”%{User-Agent}i\”" combined
LogFormat
“%h %l %u %t \”%r\” %>s %b” common
LogFormat
“%{Referer}i -> %U” referer
LogFormat
“%{User-agent}i” agent
具体有关LogFormat的用法请参照：
2、接着我们继续向下移动，找到虚拟主机配置段，也就是VirtualHost段，这个是由你自己来配置的。本站的虚拟主机的日志文件是这样设置的：如果你想记录百度蜘蛛的访问全称，就按色部分设置：
CustomLog
/var/html/faq/logs/linux520-access.log combined
如果不想记录百度蜘蛛的头部分，则如下设置：
CustomLog
/var/html/faq/logs/linux520-access.log common
按照以上设置一下，看看你的日志文件是否发生变化了。