代码之家  ›  专栏  ›  技术社区  ›  Andreas

有没有类似于apache hadoop的测试框架/解决方案?

  •  0
  • Andreas  · 技术社区  · 16 年前

    我对apache hadoop项目很感兴趣,但是我想知道是否还有其他测试过的(请注意“测试过的”)项目/框架。

    感谢任何与apache hadoop类似的项目的信息/链接,以及任何使用过apachehadoop项目的人对该项目的任何评论。

    当做,

    5 回复  |  直到 12 年前
        1
  •  0
  •   Steve Severance    16 年前

    也许吧。但是他们中没有一个能像hadoop那样测试真实世界的体验。像facebook和yahoo这样的公司正在花钱扩展hadoop,我知道没有类似的开源项目真正值得一看。

        2
  •  1
  •   Community Mohan Dere    9 年前

    正如在对这个问题的回答中提到的:

    https://stackoverflow.com/questions/2168558/is-there-anything-like-hadoop-in-c

    MongoDB 也许你可以看看。它是一个可伸缩的数据库,允许对它运行mapreduce算法。

        3
  •  1
  •   Peter Wippermann    16 年前

    在hadoop上确实有开源项目在使用和资助。 有关数据挖掘,请参见apache mahout: http://lucene.apache.org/mahout/

    您是否了解其他可用的mr实现? http://en.wikipedia.org/wiki/MapReduce#Implementations

        4
  •  0
  •   Victor    16 年前

    一种可能的方法是使用org.apache.hadoop.hbase.minidfscluster和org.apache.hadoop.mapred.minircluster,它们用于测试hadoop本身。

    他们所做的是在本地启动一个小集群。要测试程序,请使hdfs-site.xml stuff指向本地集群,并将它们添加到类路径中。这个本地集群和另一个集群一样,只是规模较小。可以将hadoop/src/test/*-site.xml作为模板引用。

    例如,查看hadoop/src/test/。

        5
  •  0
  •   user3312746    12 年前

    有一个类似hadoop的框架,构建在hadoop之上,它重视迭代算法的优先执行。

    它是经过测试的。我已经在上面运行了wordcount示例。它非常类似于hadoop(特别是安装)

    你可以在这里找到报纸: http://rio.ecs.umass.edu/mnilpub/papers/socc11-zhang.pdf

    还有这里的密码 https://code.google.com/p/priter/

    希望这有帮助

    推荐文章