用于搜索引擎爬行记录的WordPress代码插件

写博客也有一段时间了，为什么搜索引擎迟迟不收录你的页面呢？想知道每天都有哪些蜘蛛“拜访”你的网站吗？作为一名wordpress用户，有必要知道每天都有哪些蜘蛛爬行过你的网站，以便于了解各搜索引擎蜘蛛爬行频率，对网站进行针对性的SEO优化。

其实很简单，只要添加以下代码，然后再调用文件代码就OK了，是不是很方便呢？那就开始行动吧。

之前我也找过几个蜘蛛爬行记录工具PHP版，结果都不尽人意。而且这些PHP程序大多要进行安装，还要将蜘蛛爬行记录添加到MYSQL中，未免太麻烦。那就寻找一个简易的蜘蛛爬行记录器吧~

googlebot

1.首先，在wordpress主题根目录建立一个robots.php文件，写入以下内容：

<?php
  function get_naps_bot()
  {
  $useragent = strtolower($_SERVER[\'HTTP_USER_AGENT\']);
  if (strpos($useragent, \’googlebot\’) !== false){
  return \’Googlebot\’;
  }
  if (strpos($useragent, \’msnbot\’) !== false){
  return \’MSNbot\’;
  }
  if (strpos($useragent, \’slurp\’) !== false){
  return \’Yahoobot\’;
  }
  if (strpos($useragent, \’baiduspider\’) !== false){
  return \’Baiduspider\’;
  }
  if (strpos($useragent, \’sohu-search\’) !== false){
  return \’Sohubot\’;
  }
  if (strpos($useragent, \’lycos\’) !== false){
  return \’Lycos\’;
  }
  if (strpos($useragent, \’robozilla\’) !== false){
  return \’Robozilla\’;
  }
  return false;
  }
  function nowtime(){
  $date=gmdate(\”Y-n-j H:i:s\”,time()+8*3600);
  return $date;
  }
  $searchbot = get_naps_bot();
  if ($searchbot) {
  $tlc_thispage = addslashes($_SERVER[\'HTTP_USER_AGENT\']);
  $url=$_SERVER[\'HTTP_REFERER\'];
  $file=\”robotslogs.txt\”;
  $time=nowtime();
  $data=fopen($file,\”a\”);
  fwrite($data,\”Time:$time robot:$searchbot URL:$tlc_thispage\\n\”);
  fclose($data);
  }
  ?>

将其上传于你的主题目录内。

2.在Footer.php或header.php的适当位置添加以下代码调用robots.php。

<?php include(\’robots.php\’) ?>

程序原理：通过对蜘蛛标识符（如Baiduspider、Googlebot）的判断，记录蜘蛛爬行时间，并生成日志文件robotslogs.txt于根目录。

程序缺点：无法记录蜘蛛爬行的页面，功能较为简单。