代码之家 › 专栏 › 技术社区 › Ian G

是否限制机器人对(特定)查询字符串(参数)值的访问?

robots.txt seo

Ian G · 技术社区 · 15 年前

使用robot.txt是否可以限制robot对(特定)查询字符串(参数)值的访问?

工业工程

http://www.url.com/default.aspx  #allow
http://www.url.com/default.aspx?id=6  #allow
http://www.url.com/default.aspx?id=7  #disallow

2 回复 | 直到 15 年前

Espo 15 年前

User-agent: *
Disallow: /default.aspx?id=7  # disallow
Disallow: /default.aspx?id=9  # disallow
Disallow: /default.aspx?id=33 # disallow

etc...

您只需要指定不允许的URL。默认情况下,其他所有内容都是允许的。

Matt 13 年前

只能定义查询变量,如

不允许:/default.aspx?ID=*

还是更好

不允许: ?ID=

推荐文章

Shashank Vivek · 从angularJS的url中删除#,用于搜索引擎优化,后端为Django

7 年前

user8073054 · 机器人。txt格式不允许所有子URL,但不允许根URL本身

7 年前

Orange Lux · Angular2路由器:匹配任何url,包括子目录

7 年前

Aravinthan M Rohan Fating · 我在角度上有这样的错误

7 年前

Priyank Dey · 我可以多次使用一个用于桌面,另一个用于移动设备吗?

7 年前

Khadesa · 如何从导航项目的标题属性[关闭]中删除类别描述

7 年前

Kyle Vassella · alt是否与alt=“”相同?

7 年前

Ho Thanh Cyberdelia Nhan · 通过实施RDF和将数据链接到我们的网站,我们能得到什么?[已关闭]

8 年前

Macas · Magento产品页面面包屑搜索引擎优化

9 年前

Hasnain Hayder · 搜索引擎优化友好url出错

9 年前