wordpress的robots.txt在哪儿？wordpress修改robots文件的方法

这周我的博客百度收录site显示的数据居然有9870条，仔细的查看了一下百度收录放出的页面，出了正常的文章页链接和tags页面之外，还存在一些?p的文章链接，此外居然放出了几条/ajax目录下的页面，而且百度收录放出的几个ajax页面的标题居然一模一样，这显然是不利于Seo优化的，当然在建站初期也只是想记载一些文章，当时并没有在程序上过多的设置。下面主要记载和介绍的是wordpress的robots.txt的在哪儿？以及如何修改robots文件来禁止搜索引擎爬取/ajax目录下的文章。

wordpress的robots.txt在哪儿

原来因为禁止搜索引擎蜘蛛爬取带?P链接的文章页面，当时设置过一次robots文件，时间久了就忘记在那个位置，首先是在网站的根目录下找robots.txt文件，但是在网站的根目录下却并没有找到。

wordpress设置robots文件的目录：/wp-includes/functions.php，然后搜索do_robotstxt，大概在1699行。

wordpress修改默认的robots文件

在functions.php中，wordpress默认设置的robots文件是：

    $output = "User-agent: *\n";
    $public = get_option( 'blog_public' );

    $site_url = parse_url( site_url() );
    $path     = ( ! empty( $site_url['path'] ) ) ? $site_url['path'] : '';
    $output  .= "Disallow: $path/wp-admin/\n";
    $output  .= "Allow: $path/wp-admin/admin-ajax.php\n";

第一个output变量是允许所有的蜘蛛爬取页面，第二个output变量是禁止爬取/wp-admin/目录下的所有文件，而第三个则是允许爬取/wp-admin/admin-ajax.php文件。

如果需要修改wordpress默认的robots禁止蜘蛛爬取某一个文件目录，这个时候直接再写入一个output变量，后面再写入需要禁止的目录名称即可。我需要禁止ajax目录，直接写入一个output变量，禁止爬取ajax目录就OK了。

关于wordpress的robots.txt文件在哪儿？wordpress修改robots文件的方法一文就记载到这，后续将观察禁止蜘蛛爬取ajax目录后，百度会不会继续收录此类目录下的页面。