![]() |
1
1
一些机器人程序支持原始robots.txt规范的“扩展”,一个流行的扩展是
最流行的定义可以说是 from Google Search
你的榜样
在解释
你的
(另请注意
这至少会阻止相同的内容,但可能会超过您想要阻止的内容(取决于您的URL):
请记住,遵循原始robots.txt规范的机器人程序在解释时会忽略它
|
![]() |
Jimmy Pelton · Magento robots.txt 404s 11 年前 |
![]() |
bernie · 阻止链接在Opencart中建立索引 12 年前 |
![]() |
Thomas Jensen · 在nginx中回退到默认/共享文件 12 年前 |