百度站长资源平台普通收录sitemap提示抓取失败怎么办
一直以来网站的sitemap在百度站长资源平台上抓取的数据还是比较正常，基本上都是间隔1-2天就会被百度蜘蛛抓取一次，但是昨日看到从11月9日开始就已经报错了，当时并未点到资源提交下面的sitemap下看是啥状态，所以就没咋管，直到昨天点进资源提交下面的sitemap中才发现了问题。 一、百度站长资…
- 2022年11月20日
- 3,741 次
404 NOT FOUND什么意思？为什么404 not found页面还有搜索排名？
404 NOT FOUND是什么意思？404 NOT FOUND在网站建设中是比较常见的一种错误提示，本文将逐一对404 NOT FOUND是什么意思？404 NOT FOUND有什么作用？出现404 NOT FOUND的情况以及为什么有的404 not found页面还有搜索排名等问题进行记载和分…
- 2022年11月8日
- 952 次
wordpress的robots.txt在哪儿？wordpress修改robots文件的方法
这周我的博客百度收录site显示的数据居然有9870条，仔细的查看了一下百度收录放出的页面，出了正常的文章页链接和tags页面之外，还存在一些?p的文章链接，此外居然放出了几条/ajax目录下的页面，而且百度收录放出的几个ajax页面的标题居然一模一样，这显然是不利于Seo优化的，当然在建站初期也只…
- 2022年9月22日
- 2,546 次
宝塔及robots禁止BLEXBot垃圾蜘蛛爬虫爬行
今天查看一台Vps服务器的网站日志的时候，发现了一个爬行频率超高的蜘蛛爬虫BLEXBot，初一看这个蜘蛛爬虫觉得爬行频率那叫一个高，快的时候几秒钟爬一次，慢的时候几十秒钟爬行一次，这样的爬行频率，小小的Vps再会受得了，所以决定先看看这个BLEXBot是个啥玩意爬虫，然后再对这个垃圾爬虫进行禁止，所…
- 2022年9月19日
- 1,968 次
windows操作系统下nslookup查询IP是否为搜索引擎蜘蛛的方法
查看网站日志是站长每天必不可少的工作之一，查看日志可以清楚的了解网站每天的具体运行情况，访问网站的IP情况、访问了哪些页面、User-Agent信息、浏览器信息、搜索引擎等情况，可以说学会分析或者查看网站日志，是站长必备的技术和日常的工作之一，便于更好的维护服务器和网站Seo优化，那么在查看网站之后…
- 2021年10月29日
- 1,391 次