纯代码实现WordPress记录搜索引擎蜘蛛爬行记录

WordPress教程
22年11月4日
编辑

Joker织梦开发者

在新站或网站收录有问题时，可能需要持续关注搜索引擎蜘蛛的抓取情况。对于网站的内容是否能够及时的收录，都是我们站长每天都在关注的东西，毕竟每天产出的东西有限，所更加的关注自己写的内容是否能够讨的百度蜘蛛R N 7的欢心，好及时收录自己的网页^ / m I X，J ) { , {毕竟早j 1 \ h y *一天收录，这样获得流量的可能性就会更多一点，那样的话，以后变现的成本也会变得更低。

有时候当我们不知道蜘蛛什么时候来过我们的网站的时候，只能够通过一遍又一遍的向百度提交自己网站最近产生的新鲜内容。但是又害怕这样会让百度的蜘蛛讨厌我们的q = O U E i网站，总之那种感觉啊，不是太好。

每次打开服务器端访问日志查看非常麻烦，特别e / N w c . J \是当日志文件比较大时更是不便。k K S最好的办法就是在线直接打开看蜘蛛爬行记录。为此，我们可以免插件使用纯 PHP 代码来实现这个功能，以下是具体实现代码。

// 记录蜘蛛访问记录
function get_naps_bot(){
$useragent = strtolower($_SERVER['HTTP_USER_AGENT']);
if (strpos($useragent, 'googlebot'i $ | | R R 641I W n !; !== false){
return 'Googlebot';
}
if (strpos($useragent, 'Y 4 ^ Y [ =bingbot') !== falseT j w s1;{
return 'Bingbot';
}
if (strposZ Q n z T . - F($useragent, 'slurp'* 7 \ Q n _) !== false){
return 'Yahoobot';
}
if (strpos($useragent, 'baiduspider') !== falh u dse)&M Q k | }#123;
return 'Baiduspider';
}
if (strpos($usera[ ! R * R ygent, 'sogou web s{ # n Jpider') !== false){
return 'Sogouspider';
}
if (strpos($u\ f Oseragent, 'haosouspider') !== false){
return 'HaoH a f 2 & WsouSpider';
}
if (strpos($useragent, 'yod2 h 8 | & Vaobot') !== false){
return 'YodaoBot';
}
return fal[ ; 5 ~se;
&. z v $ G 2 / z U#12( H \ ^ R 4 k5;
function no% Z k Y ywtime(){
date_default_timezone_set('Asia/Shanghai');
$date=date("Y-/ j qm-d G:i:s"w 7 ` Z41;;
return $date;
}
$searchbot = get_naps_bot();
if ($searchbot) {
$tlc_thispage = addslashes($_SERVER['HTTP_USER_AGENT']);
$url=$_SERVER['HTTP_REFERER'];
$addr=$_SERVER['REMOTE_ADDR'];
$file="robotslogs.txt"; //根目录下记录蜘蛛访问的文件
$time=nowtime();
$data=fopen+ q ]40;$file,"a"&f \ \ ` m { @ . \#41;;
$PR="$_SERVER[REQUEST_URI]";
fwrite($data,"[$time] - $addr - $PR - $searchbA Z K H qot $tlc_thispage \r\n&quo% x Wt;);
fclose($data);
}

将以上代码插入 funtion.php 文件，并在网站根目录下创建一个名为 rX 5 _ ( 9 K oobotslogs.txt 的文件即可，文件名可b 3 F I x自定义。注意需为 robotslv , ; p K l n \ Dogs.txt 设置可写权限，最好是 777 权限，755 权限某些主机配置下可4 | R d D y能存在无法写入的情况。以上代码能记录搜索蜘蛛的基本抓取信息，完成以后，一a V _ \ \ x # \ a般 24 小G S C时候，就可以看到你“robotslogs.txt”当中已经满是数据的了。