代码之家 › 专栏 › 技术社区 › Ace

我能告诉SiteCrawlers访问某个页面吗?

robots.txt seo indexing drupal

Ace · 技术社区 · 16 年前

我有一个关于文档数据库的Drupal网站。按设计,您只能通过搜索网站来查找这些文档。但是我希望所有的结果都能被GoogleBot和其他爬虫程序索引,所以我想,如果我创建一个列出所有文档的页面,然后让机器人访问该页面来索引我的所有文档怎么办?

这是可能的,还是有更好的方法?

4 回复 | 直到 16 年前

Don 16 年前

也许是 Sitemap

谷歌推出了谷歌网站地图,这样网站开发人员就可以在他们的网站上发布链接列表。基本前提是,有些网站有大量的动态页面,这些页面只能通过使用表单和用户条目来访问。然后,可以使用站点地图文件向Web爬虫指示如何找到此类页面。Google、Bing、Yahoo和Ask现在共同支持站点地图协议。

Mad Scientist 16 年前

Create a XML sitemap and submit it to Google . 其他搜索引擎也支持这一点。

googletorp 16 年前

您应该制作一个XML站点地图。在Drupal中有一个模块 XML sitemap (它被超过42000个Drupal站点使用):

从模块:

XML站点地图模块创建符合sitemaps.org规范的站点地图。这有助于搜索引擎更智能地对网站进行爬行,并使其结果保持最新。该模块创建的站点地图可以自动提交给Ask、Google、Bing(以前的Windows Live Search)和Yahoo!搜索引擎。该模块还附带几个子模块,可以为内容、菜单项、分类术语和用户配置文件添加站点地图链接。