站点地图应该有*每*个URL

如果有不止一种方法可以访问页面,您应该为每个包含实际内容的页面选择一个主URL,并将这些URL放到站点地图中。也就是说,站点地图应该包含指向实际内容的链接,而不是指向同一内容的所有可能的URL。

还可以考虑将规范的元标记放在具有这个主URL的页面中,这样蜘蛛就可以识别一个页面,即使它可以通过不同的动态URL访问。

蜘蛛只花有限的时间搜索每个网站,所以你应该让它很容易找到实际的内容尽快。站点地图是一个很大的帮助,因为您可以使用它直接指向实际的内容,这样蜘蛛就不必寻找它了。

我们使用这些方法取得了相当好的结果,现在Google索引了80-90%的动态内容。:)

在一个这样的播客中,他们谈到了在站点地图中可以包含/提交的链接数量的限制(每页大约500个,页面限制基于pagerank?)以及如何在多个页面上打断它们。

鉴于此,我真的需要担心吗 关于付出努力生产 动态站点地图索引,其中包括 所有这些URL,或者我应该 确保所有主要静态URL 在那里?

我的印象是,站点地图不一定是关于断开连接的页面,而是关于增加现有页面的爬行。根据我的经验,当一个站点包含一个站点地图时,即使是显著链接到的小页面也更有可能出现在谷歌的搜索结果中。根据站点的pagerank/inbound链接等,这可能不是什么问题。