您现在的位置是:芭奇站群管理系统 > 学习收录 > -> 泛站群培训:做泛站群需要屏蔽的蜘蛛来源

泛站群培训:做泛站群需要屏蔽的蜘蛛来源

时间:2013-04-14 12:15

173.199.0.0 这个ip段是 http://ahrefs.com/的蜘蛛 ,国外比较有名气的外链检测网站。爬行的非常疯狂的,

www.jike.com  即刻搜索
www.soso.com 搜搜
www.sogou.com 搜狗
www.yahoo.com 雅虎
www.google.cn 谷歌
请根据自己的情况屏蔽蜘蛛ip。节约宽带,,不给流量就没有必要让他爬。蜘蛛IP段太多了,就不一一提供数据了,
开启IIS日志 查询爬行次数比较多的蜘蛛,适当屏蔽,

附上屏蔽蜘蛛ip访问的最简单的方法



windows Server 2003使用ip安全策略禁止某ip访问服务器的方法 
下面有文字与图片,请耐心观看......

控制面板—管理工具—本地安全策略  或者命令  gpedit.msc

 

选择创建 IP 安全策略

 

点选下一步

 

 

 

我们就是要禁止他,不和他说话,那么,取消勾选

 

直接按完成.那个勾选是默认的

 

注意右下的”添加向导”,如果勾选了,取消他,然后点击”添加”

 

选中刚刚建立的 禁止ip   点 编辑

 

(@添加ip)

 

把”添加向导”的勾选取消 , 然后点添加地址和目标别写反了,把自己给封了

 

我这里是选择 tcp 到80端口 ,直接按确定,回到上层界面,继续确定,回到新规则属性面板

 

选择“筛选器操作”面板

 

这里的  阻止 是我先前做的添加的, 操作步骤为: 取消 “添加向导” 的勾选点 添加

// 然后切换到 “协议” 面板

在常规里面重命名为 阻止 就ok了

一路确定,回到  注意要 禁止ip 前面的勾选确定,完成此策略最后需要指派策略

到此,刚才显示的ip   地址的用户就不能访问服务器了

添加多ip 从 (@添加ip)   开始如果允许访问,也同样这样操作就可以,很简单!

有错误请及时提出,谢谢!


二、Liunx用户Htaccess封杀

最简单的方法是从Apache里封(如果你是用Apache当服务器的话)。你既可以在httpd.conf配置文件里设置,又可以在.htaccess里设置。说明如下:

1. 在配置文件里设置:

打开httpd.conf编辑,将下列block如下编辑:


Options Indexes FollowSymLinks
AllowOverride None
Order allow,deny
Allow from all
Deny from 124.114.0.
Deny from 124.115.0.


2. .htaccess文件法

在网站根目录下建立或打开.htaccess文件,加入如下内容:

Order allow,deny
Allow from all
Deny from 124.114.0.
Deny from 124.115.0. 

Feb

26关于124.115.0和124.115.4这两个IP段的说明
未分类 Add comments 最近一段时间发现124.115.0和124.115.4这两个IP段在网站上产生了大量流量,通过搜索引擎发现出现遇到这种问题的站长大有人在。

通过Apache的日志找到如下记录:

1
2
124.115.4.200 - - [26/Feb/2008:15:38:14 +0800] "GET /fh/space.php?3/myreplies&sid=RLSFXU HTTP/1.1" 200 - "http://www.zxlm.cn/fh/space.php?3/myreplies&sid=RLSFXU" "Sosospider+(+http://help.soso.com/webspider.htm)"
124.115.0.138 - - [26/Feb/2008:15:38:17 +0800] "GET /fh/space.php?3/myblogs&sid=dqC8p6 HTTP/1.1" 200 - "http://www.zxlm.cn/fh/space.php?3/myblogs&sid=dqC8p6" "Sosospider+(+http://help.soso.com/webspider.htm)" 

可以发现,这两个IP段其实是腾讯SOSO的蜘蛛,只不是它蜘蛛的身份是最近才加上去的:"Sosospider+(+http://help.soso.com/webspider.htm)"大家可以在robots.txt中添加了禁止“Sosospider”(首字母S大写,其余为小写)访问的规则。
不过在我的服务器上去没有发现Sosospider有访问robots.txt的记录,所以如果Soso的蜘蛛在你的网站产生了大量的流量,同时你又不在意Soso带来来的那点可怜的流量,那么就使用以下的办法彻底干掉这两个IP段吧:封其IP的方法:
最简单的方法是从Apache里封(如果你是用Apache当服务器的话)。你既可以在httpd.conf配置文件里设置,又可以在.htaccess里设置。说明如下:
1. 在配置文件里设置:
打开httpd.conf编辑,将下列block如下编辑:
<Directory “/var/www/html”>
Options Indexes FollowSymLinks
AllowOverride None
Order allow,deny
Allow from all
Deny from 124.114.
Deny from 124.115.
</Directory>
2. .htaccess文件法
在网站根目录下建立或打开.htaccess文件,加入如下内容:
Order allow,deny
Allow from all
Deny from 124.114.
Deny from 124.115.
希望大家广为传播,将这段IP地址彻底废掉!
补足:鉴于大家反映上述方法封得太狠了,可将黑体字部分改为:
Order allow,deny
Allow from all
Deny from 124.115.0.
Deny from 124.115.4.

--来源网络