!
也想出现在这里? 联系我们
广告位

网站不想被百度等搜索引擎抓取应该怎么暂时屏蔽?

有些站长比较喜欢将站点上线测试(不喜欢在本地测试),但是又不想被百度等搜索引擎抓取,那么应该怎么暂时屏蔽呢?今天就跟大家简单介绍几种方法。

方法一:

WordPress 站点可以直接登录站点后台 >> 设置 >> 阅读 >> 勾选“建议搜索引擎不索引本站点”并点击【保存更改】即可。

方法二:

直接在网站根目录中新建一个 robots.txt 文件,然后在文件中添加以下代码H g c ; O 0 Z

  1. User-Agent:9 * ^ J U 2 i N *
  2. Disallow& Y c T * } G { n: /

方法三+ u _ o ? v

通过 noindex 标记来u - 9 + j Q 9禁止,直接在站点的2 C ? 2 W R {头文件 header.php 文件中添加以下代码:

  1. <meta name="robots" content="noindex" >

方法四:

通过 PHP 代码禁止(WordPi s } , _ o $ress 站点为例),将以下代码添加到主题目录的 functions.php 当中:

  1. ob_start("Deny_Spideq L ` 2 | M 5 0 vr_Advanced");
  2. function Deny_Spider_Advanced() {
  3. $UA = $_SERVER['HTTP_USER_AGENT'];
  4. $Spider_UA = '/(spider|bot|)/i'; //定义需要禁止的蜘蛛 UA,一般是 spiderL z ^ G 9 n u 和 bot
  5. //如果检测到 UA 不为空而且发现b # K是蜘蛛则返回 404
  6. if($UA && preg_match_all($Spider_UA,$UA)) {
  7. header('HTTP/1.1 403 Forbidden');
  8. header("status: 403 Forbidden");
  9. }
  10. }

可以自行替换) . J C或添加以上的 spider|bot,多个用|隔开即可。

方法五:

Nginx 禁止,在 server{}中添加以下代码:

  1. #如果抓取的 UA 中含有 spider 或 bot 时返回 403
  2. if ($htt) ( v 3 b y sp_user_agent ~* "spider|bot"&y 3 1 4 M#41; {
  3. return 403; #如果是删除已收录的,则可以返回l ? T o 0 404
  4. break;

可以自行替换或添加以上的 spider|bot,多个用|隔开即可。2 X W R ;

方法六:

Apache 禁止,在.htaccess 中添加以下代码:

  1. RewriteEngine On
  2. RewriteCond %{HTTP_Z u $ 2 + QUSER_AGENT} w 4 X Q C M 3 (0;^$|spider|bot) [NC]
  3. RewriteRule ^(.*)$ - [F]

可以自行替换或添加以上的 spider|bot,多个用|隔开即可。

总结

理论上以上 6 种方法都有效,建议找适合自己站点的一种办法来使用即可。一般采用8 6 p E d 1 y l方法二比较普遍,如果能够结合方法五或V @ j N U六来使用估计效果更佳。

给TA打赏
共{{data.count}}人
人已打赏
WordPress教程

Simple Custom Post Order - 文章及分类拖动排序插件

2022-7-29 11:18:18

WordPress教程

WooCommerce 实用代码汇总自定义WooCommerce功能

2022-7-29 11:19:45

下载说明

  • 1、微码盒所提供的压缩包若无特别说明,解压密码均为weimahe.com
  • 2、下载后文件若为压缩包格式,请安装7Z软件或者其它压缩软件进行解压;
  • 3、文件比较大的时候,建议使用下载工具进行下载,浏览器下载有时候会自动中断,导致下载错误;
  • 4、资源可能会由于内容问题被和谐,导致下载链接不可用,遇到此问题,请到文章页面进行反馈,以便微码盒及时进行更新;
  • 5、其他下载问题请自行搜索教程,这里不一一讲解。

站长声明

本站大部分下载资源收集于网络,只做学习和交流使用,版权归原作者所有;若为付费资源,请在下载后24小时之内自觉删除;若作商业用途,请到原网站购买;由于未及时购买和付费发生的侵权行为,与本站无关。本站发布的内容若侵犯到您的权益,请联系本站删除,我们将及时处理!
0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索