最近,我似乎收到了很多来自谷歌网站管理员工具的404个错误。有没有办法禁止这些链接被索引?它们是从哪里来的?
如果你能对这件事有所了解,我将不胜感激。提前谢谢。
我在露天矿1.5.4.1。
这是404个错误
http://mydomain.com/product/search&filter_tag=Purse&sort=rating&order=ASC&limit=25
http://mydomain.com/product/search&sort=p.price&order=DESC&filter_tag=&limit=25
http://mydomain.com/cart?qty=1&id_product=323&token=bfcf19e76ed4a88abd8508e8dc097a70&add
我还在robots.txt中包含了以下条目,但没有用
User-agent: Googlebot
User-agent: *
Disallow: /cgi-bin
Disallow: /*?limit
Disallow: /*&limit
Disallow: /*?sort
Disallow: /*&sort
Disallow: /*?route=checkout
Disallow: /*?route=account
Disallow: /*?route=product/search
Disallow: /*?route=affiliate
Disallow: /*&keyword
Disallow: /*?page=1