代码之家 › 专栏 › 技术社区 › Marcelo Cantos

robots.txt:不允许机器人访问给定的“url深度”

noindex robots.txt

Marcelo Cantos · 技术社区 · 17 年前

我想要谷歌&co-to-spider在URL中包含一个标记的所有链接,但不包含包含两个或更多标记的URL。

目前我使用html元标记 "robots" -> "noindex, nofollow" 解决这个问题。

是否有robots.txt解决方案(至少对某些搜索机器人有效),或者我是否需要继续使用“noindex,nofollow”并使用额外的流量?

1 回复 | 直到 9 年前

MarkusQ 17 年前

我认为你不能用robots.txt来做。 The standard 非常窄(没有通配符,必须在顶层,等等)。

推荐文章

user8073054 · 机器人。txt格式不允许所有子URL,但不允许根URL本身

8 年前

zython Hiery Nomus · 为什么Chrome需要机器人。txt?

9 年前

Kyle Piira · robots.txt中的“允许:/$”是什么意思

10 年前

Jimmy Pelton · Magento robots.txt 404s

12 年前

Ryan Printup · robots.txt不允许空白PHP页面并包含?[已关闭]

12 年前

Maximus · 如何正确拆分网站?

13 年前

bernie · 阻止链接在Opencart中建立索引

13 年前

Thomas Jensen · 在nginx中回退到默认/共享文件

13 年前