windows操作系统下nslookup查询IP是否为搜索引擎蜘蛛的方法
- 2021年10月29日
- 1,488 次
查看网站日志是站长每天必不可少的工作之一,查看日志可以清楚的了解网站每天的具体运行情况,访问网站的IP情况、访问了哪些页面、User-Agent信息、浏览器信息、搜索引擎等情况,可以说学会分析或者查看网站日志,是站长必备的技术和日常的工作之一,便于更好的维护服务器和网站Seo优化,那么在查看网站之后如何确定某一个IP是否是某一搜索引擎蜘蛛呢?笔者的电脑是win10操作系统,分享下两种在windows操作系统下nslookup查询IP是否为搜索引擎蜘蛛的方法。
第一种Dos Cmd命令行下Nslookup查询:
直接将网站日志中Baiduspider的IP拿来查询了一下,结果返回的是 baiduspider-220-181-108-152.crawl.baidu.com,带有baiduspider头后接IP地址带百度二级域名的格式,这样的就是百度搜索引擎蜘蛛。另外在网站日志中发现了116.179.37.0/24这个IP段的IP爬取网站数据比较频繁,结果查询后发现这个IP段全部为百度蜘蛛的IP。
第二种直接在Dos运行中输入Nslookup查询:
其实第二种法,是Dos中直接执行了Nsloop命令,比方法一简化了很多,进入命令行后直接输入IP就可以查询是否是搜索引擎蜘蛛了。
经过查询不是搜索引擎蜘蛛,但是又带有搜索引擎蜘蛛头的IP,这个时候很大概率就是对User-Agent进行了伪装,来网站采集内容或者是收集网站信息和漏洞对网站进行攻击,另外还有一种就是站长工具也会带有搜索引擎的User-Agent信息,所以这个时候我需要在核对无误后,对这些伪装的IP进行屏蔽。
若非作者标注皆为李涛自留地原创文章,转载或复制请以超链接形式并注明出处。
- WordPress设置伪静态后百度仍然收录带?p链接怎么办? 2022-06-02
- 百度搜索用户正在流失 未来3-5年百度搜索或将死 2025-01-13
- 备案关站对于网站有影响么?如何实现不关站对网站域名进行备案? 2023-02-10
- 网站权重提升实战技巧,我按月拆成三批内容调整 2026-11-16
- QQ邮箱在哪里找?QQ邮箱在QQ的什么位置? 2022-10-17
- robots协议如何查看?三个入口与三种返回状态 2026-11-19
