今天查看一台Vps服务器的网站日志的时候，发现了一个爬行频率超高的蜘蛛爬虫BLEXBot，初一看这个蜘蛛爬虫觉得爬行频率那叫一个高，快的时候几秒钟爬一次，慢的时候几十秒钟爬行一次，这样的爬行频率，小小的Vps再会受得了，所以决定先看看这个BLEXBot是个啥玩意爬虫，然后再对这个垃圾爬虫进行禁止，所…

昨天简单介绍了谷歌浏览器爬虫插件webscraper的简单使用方法，可以使用爬虫插件webscraper爬取网站一些简单的基础数据，那么如果我们要爬取网站多页面的内容，也就是我们通常遇到的列表页或者是网站频道页面带有分页的内容该如何爬取内容呢？其实只需要在创建爬虫时对爬取的页面进行设置就可以爬取到多…

最近看到了一个很牛逼的谷歌浏览器爬虫插件：webscraper。这款爬虫插件非常适合0编程基础的人使用，不用写任何编程代码，很快就能爬取到自己所需要的数据，当然笔者也只是偶尔看到这款插件，这几日也是简单的使用这款插件简单的爬取了一些网站数据，至于能否向Python一样爬取更多复杂的数据，目前还没有研…