防止谷歌对站点/内容进行索引的方法

呃,还有很多

a)识别googlebot(与其他bot类似) http://www.google.com/support/webmasters/bin/answer.py?hl=en&answer=80553 不要把内容给他们看

b)使用HTTP 404/HTTP 410头而不是HTTP 200返回这些页

c)仅向带有cookies/sessions的客户显示这些页面

d)将整个内容呈现为图像(然后禁用图像)

e)将整个内容呈现为图像数据URL(然后不需要disalow)

f)URL结构中的用户管道(在google工作,不知道其他页面)

g)使用只工作5分钟的动态url

这些只是我脑海中的一些。。。还有很多

好吧,我想您可能需要某种注册/身份验证才能看到内容。

在我的工作中,我们通过ajax方法使用post-load内容,它工作得非常好。您只需确保如果在没有xhr头的情况下命中相同的ajax路由,则不会返回任何内容。(不过,我们将它与授权结合使用。)

我只是觉得如果不在某种身份验证后锁定数据,就无法完全确定。如果你的公司在这方面花费太大,你可能会认真考虑。

在.htaccess中使用搜索引擎用户代理阻止来自搜索引擎的IP和请求怎么样?

它可能需要对IPs和用户代理列表进行更多的维护,但它可以工作。