代码之家 › 专栏 › 技术社区 › Jimmy Pelton

Magento robots.txt 404s

robot robots.txt magento .htaccess

0

Jimmy Pelton · 技术社区 · 12 年前

我有一个Magento多站点安装。我只想禁止我的一家商店,但不允许其他商店。我试图利用Magento配置中的“默认机器人”选项,因此我将所有商店的默认机器人设置为“索引,跟随”,但我想禁止的商店除外,我将其更改为“Noindex,Nofollow”。但当我转到URL/robots.txt时,我得到一个404错误。

知道为什么会是404吗?

有人能告诉我,我该如何制作一个robots.txt,它只允许一个站点吗?

1 回复 | 直到 12 年前

1

Steve Robbins 12 年前

此设置将仅向页面添加元robots标记,例如。

<meta name="robots" content="INDEX,FOLLOW" />

参见: http://www.robotstxt.org/meta.html

Magento应用程序与您的 robots.txt