代码之家  ›  专栏  ›  技术社区  ›  Thierry Roy

机器人程序和301重定向

  •  1
  • Thierry Roy  · 技术社区  · 16 年前

    我已经改变了我的网站的网址结构超过6个月前。我检测到旧URL的使用,并重定向到带有301状态代码的新URL。我用flidder验证了请求时状态代码是否正确返回。但是机器人程序(yahoo slurps、googlebot等)仍在使用旧的URL。我有什么遗漏吗?

    4 回复  |  直到 16 年前
        1
  •  3
  •   squeeks    16 年前

    此外,根据URL的结构,您可以使用robots.txt禁用旧地址

        2
  •  3
  •   simbabque    13 年前

    试试这个,这只会重定向到机器人。

    if (preg_match("#(google|slurp@inktomi|yahoo! slurp|msnbot)#si", $_SERVER['HTTP_USER_AGENT'])) {
        header("HTTP/1.1 301 Moved Permanently");
        header("Location: http://www.your-main-site.com/");
        exit;
    }
    
        3
  •  1
  •   innaM    16 年前

    如果外部站点已经链接到您的旧页面,并且这些链接仍然可以被机器人访问,那么机器人将继续访问这些内容。

        4
  •  0
  •   jafri    13 年前

    此处提到您的网站地址:

    http://www.your-main-site.com/