宝塔及robots禁止BLEXBot垃圾蜘蛛爬虫爬行

今天查看一台Vps服务器的网站日志的时候，发现了一个爬行频率超高的蜘蛛爬虫BLEXBot，初一看这个蜘蛛爬虫觉得爬行频率那叫一个高，快的时候几秒钟爬一次，慢的时候几十秒钟爬行一次，这样的爬行频率，小小的Vps再会受得了，所以决定先看看这个BLEXBot是个啥玩意爬虫，然后再对这个垃圾爬虫进行禁止，所以就有了这篇文章。

BLEXBot是什么蜘蛛爬虫？

BLEXBot是WebMeUp的蜘蛛爬虫，而WebMeUp是米国的一个查询反向链接的蜘蛛程序，只要爬到了我们的站上真的就是不停的狂爬。

这样的蜘蛛爬虫对于国人来说，也没有什么作用，而且还占用机器的带宽，所以还是应该对这个蜘蛛进行禁止。

robots.txt中禁止BLEXBot蜘蛛爬虫

在网站的根目录下打开robots.txt文件，在robots.txt中填写一下禁止BLEXBot的语句：

User-agent: BLEXBot
Disallow: /

在robots.txt中加上以上的禁止爬行的语句后，在网站日志里发现居然还在不停的爬行，BLEXBot蜘蛛官方给出的说明是10分钟内将不在爬行。

可是十分钟过去了，感觉仍然一直在爬行，很有可能因为时差的问题，所以就在宝塔里面进一步进行了禁止。

宝塔里禁止BLEXBot蜘蛛爬虫

1、首先我将这个蜘蛛的IP添加在了防火墙里，更新日志记录，发现IP都是1 5 7. 9 0. 1 7 7. 2 1 4，暂时还没有发现有其他的IP。

2、在防火墙里将BLEXBot添加到了全局配置的User-Agent过滤规则中。

大概今天上午10:50左右进行了以上操作，下午查看网站日志发现BLEXBot在11：10左右就没有再进行爬行了。以上就是本次记载的宝塔及robots.txt禁止BLEXBot垃圾蜘蛛爬虫爬行的全文。