如何在何处向ASP.NET Web应用程序添加robots.txt文件?

robots.txt是根文件夹中的一个文本文件,它为搜索机器人设置了某些规则,主要是访问哪些文件夹以及不访问哪些文件夹。您可以在这里阅读更多信息: http://www.robotstxt.org/robotstxt.html

robots.txt文件放在网站的根目录下,用于控制允许搜索蜘蛛进入的位置,例如,您可能不希望它们进入 /js 文件夹。像往常一样,维基百科有一个伟大的 write up

我想你会发现 SiteMaps 不过更有用。这是一个XML文件,您可以生成它来表示站点的内容。然后你把这个推到主要的搜索引擎上。尽管由谷歌启动,所有主要的搜索引擎现在都同意遵循标准模式。

提高你的谷歌分数和搜索引擎优化(SEO)的总体水平,我不太了解。对我来说这听起来像是一门黑色艺术:)看看 IIS SEO Toolkit 不过,它可能会提供一些提示。

大多数搜索引擎都会为你的网站编制索引 除非 robots.txt告诉它不要这样做。换句话说,robots.txt通常用于 排除 机器人从你的网站。