一、Nginx 规则
直接在 server 中新增如下规则即可:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
|
server
{
listen
80
;
server_name
zhangge
.net
;
index
index
.html
index
.htm
index
.php
default
.html
default
.htm
default
.php
;
root
/
home
/
wwwroot
/
zhangge
.net
;
#### 新增规则【开始】 ####
#初始化变量为空
set
$deny_spider
""
;
#如果请求地址中含有需要禁止抓取关键词时,将变量设置为y:
if
(
$request_uri
~
*
"\?replytocom=(\d+)|\?p=(\d+)|/feed|/date|/wp-admin|comment-page-(\d+)|/go"
)
{
set
$deny_spider
'y'
;
}
#如果抓取的UA中含有spider或bot时,继续为变量赋值(通过累加赋值间接实现nginx的多重条件判断)
if
(
$http_user_agent
~
*
"spider|bot"
)
{
set
$deny_spider
"${deny_spider}es"
;
}
#当满足以上2个条件时,则返回404,符合搜索引擎死链标准
if
(
$deny_spider
=
'yes'
)
{
return
403
;
#如果是删除已收录的,则可以返回404
break
;
}
#### 新增规则【结束】 ####
#以下规则略...
|
Ps:就是将上述代码中“新增规则【开始】”到“新增规则【结束】”内容添加到我们网站的 Nginx 配置-- server 模块 中的 root 指令之后即可。
二、 Apache规则
Apache 测试了半天总是500错误,暂时先放弃了,有时间再来调整!
我自己测试写的规则如下,感兴趣的朋友可以自行测试看看,也许是我环境的问题。
1
2
3
4
|
RewriteEngine
On
RewriteCond
%
{
HTTP_USER_AGENT
}
(
^
$
|
spider
|
bot
)
[
NC
]
RewriteCond
%
{
REQUEST_URI
}
(
/
\
?
replytocom
=
(
\
d
+
)
|
\
?
p
=
(
\
d
+
)
|
\
/
feed
|
\
/
date
|
\
/
wp
-
admin
|
wp
-
includes
|
\
/
go
|
comment
-
page
-
(
\
d
+
)
)
[
NC
]
RewriteRule
^
(
.
*
)
$
-
[
F
]
|
Ps:大概思路和Nginx一致,既匹配了蜘蛛UA,又匹配了禁止关键词的抓取,直接返回403(如何返回404,有知道的朋友请留言告知下,测试成功的朋友也敬请分享一下代码,我实在没时间折腾了。)
三、PHP代码版
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
|
/**
* PHP比robots更彻底地禁止蜘蛛抓取指定路径代码 By 张戈博客
* 原文地址:http://zhangge.net/5043.html
* 申 明:原创代码,转载请注保留出处,谢谢合作!
* 使用说明:将一下代码添加到主题目录的functions.php当中即可。
*/
ob_start
(
"Deny_Spider_Advanced"
)
;
function
Deny_Spider_Advanced
(
)
{
$UA
=
$_SERVER
[
'HTTP_USER_AGENT'
]
;
$Request_uri
=
$_SERVER
[
'PHP_SELF'
]
.
'?'
.
$_SERVER
[
'QUERY_STRING'
]
;
$Spider_UA
=
'/(spider|bot|)/i'
;
//定义需要禁止的蜘蛛UA,一般是spider和bot
//禁止蜘蛛抓取的路径,可以参考自己的robots内容,每个关键词用分隔符隔开,需注意特殊字符的转义
$Deny_path
=
'/\?replytocom=(\d+)|\?p=(\d+)|\/feed|\/date|\/wp-admin|wp-includes|\/go|comment-page-(\d+)/i'
;
//如果检测到UA为空,可能是采集行为
if
(
!
$UA
)
{
header
(
"Content-type: text/html; charset=utf-8"
)
;
wp_die
(
'请勿采集本站,因为采集的站长木有小JJ!'
)
;
}
else
{
//如果发现是蜘蛛,并且抓取路径匹配到了禁止抓取关键词则返回404
if
(
preg_match_all
(
$Spider_UA
,
$UA
)
&&
preg_match_all
(
$Deny_path
,
$Request_uri
)
)
{
//header('HTTP/1.1 404 Not Found');
//header("status: 404 Not Found");
header
(
'HTTP/1.1 403 Forbidden'
)
;
//可选择返回404或者403(有朋友说内链404对SEO不太友好)
header
(
"status: 403 Forbidden"
)
;
}
}
}
|
使用很简单,将上述PHP代码添加到主题目录下放 functions.php 当中即可。
四、测试效果
测试效果很简单,直接利用百度站长平台的抓取诊断工具即可:
点开看看可以发现真的是返回404:
最后,结合张戈博客之前分享的《SEO技巧:Shell脚本自动提交网站404死链到搜索引擎》即可将这些无用的收录全部删除:
有朋友说我这个是黑帽手法,用户可以访问,而搜索引擎却404,很适合淘宝客网站的商品外链。是什么手法我不清楚,我只知道实用就好!特别是张戈博 客那些外链,都是用/go?url=这个路径来跳转的,现在这样处理后,就算搜索引擎不遵循robots硬是要抓取,就只能抓到404了!
转自张戈的博客