代码之家 › 专栏 › 技术社区 › ire_and_curses

如何让Mediawiki忽略来自Google搜索设备的页面视图?

google-search-appliance web-crawler mediawiki

ire_and_curses · 技术社区 · 15 年前

每个页面上的页面视图计数器 MediaWiki 页面似乎是识别热门页面的一个很好的方法,这些页面值得花更多的精力来保持最新和有用,但我遇到了一个问题。

我们使用 Google Search Appliance 为我们的Mediawiki安装编制索引。我的问题是GSA每次爬过页面时都会增加页面视图计数器。这完全支配了统计数据,淹没了真实用户的视图。

我知道怎么做 reset the page counters 重新开始。但是有没有一种方法可以配置Mediawiki来忽略GSA的页面请求,以便计算页面视图?

2 回复 | 直到 15 年前

jspcal 15 年前

这可以通过在article.php中添加一个条件来实现:

includes/article.php:2861:函数viewupdates():

if( !$wgDisableCounters && !$wgUser->isAllowed('bot') && $this->getID() ) {

添加:

&& strpos($_SERVER['HTTP_USER_AGENT'], 'gsa-crawler') === false

其中GSA爬虫是默认GSA UA的一部分…

另一种方法是在GSA中设置表单身份验证,并让它作为bot组中的用户登录到wikimedia。

grugnog 15 年前

我们将此代码段添加到localsettings.php中,取得了巨大成功:

if (strpos($_SERVER['HTTP_USER_AGENT'], 'gsa-crawler') !== FALSE) {
  $wgDisableCounters = TRUE;
}

谢谢!

推荐文章

chans.best · StormCrawler和Hortonworks 1.1.0.2.6.4.0-91之间的Commons日志版本冲突

7 年前

Tae · Python3中方法has\u key的替换

7 年前

Jonas Pohlmann · Stormcrawler没有为elasticsearch获取/索引页面

7 年前

Teslaturing · 在python中从结果中获取指定单词后的动态数字并存储在数据库中

7 年前

Vega · 如何从DOM获取所有链接?

7 年前

Vivek Kumar Sinha · 产生刮痕。请求()无法正常工作以爬网下一页

7 年前

bob9123 · 为什么状态和索引中的文档计数不同?

7 年前

Konstantin · crawler中未启动回调函数,scrapy

7 年前

SY9 · 刮:已爬网并刮取0个项目

7 年前

Vani4ka · Crawler4j、Jsoup和JavaScript:提取用JavaScript修改的属性值

7 年前