代码之家  ›  专栏  ›  技术社区  ›  fehays

googlebot是否在jquery$.get()调用中对URL进行爬网,并且是否可以阻止?

  •  3
  • fehays  · 技术社区  · 16 年前

    我有一个页面有一个使用 this ajaxForm jQuery plugin . 表单提交,完成后,使用$.get()调用将一些新内容加载到页面。

    我的问题是,GoogleBot“似乎”正在为$.get()方法中的URL编制索引。

    我的第一个问题是,这是否可能?我觉得GoogleBot绝大多数时候都没有评估javascript(我读到了一些关于它能够在URL上索引内容的信息!α)。

    我的第二个问题是,如果谷歌将此调用索引到该URL,有没有办法阻止它?

    事先谢谢。

    3 回复  |  直到 15 年前
        1
  •  3
  •   drudge    16 年前

    robots.txt

    robotstxt.org

    User-agent: *
    Disallow: /~joe/junk.html
    Disallow: /~joe/foo.html
    Disallow: /~joe/bar.html
    

    Webmaster Central

        3
  •  1
  •   Franz Enzenhofer    15 年前