代码之家  ›  专栏  ›  技术社区  ›  lampShadesDrifter

h2o独立版和hadoop有什么区别?

h2o
  •  0
  • lampShadesDrifter  · 技术社区  · 7 年前

    看看h2o文档,上面写着

    在H2O内部,分布式密钥/值存储用于访问和引用所有节点和机器上的数据、模型、对象等。这些算法是在H2Os上实现的 并利用javafork/Join框架进行多线程处理。数据以并行方式读取并分布在整个集群中。。。

    看看水 downloads page ,我看到有一个独立版本的水。想知道这些版本之间有什么区别吗?例如,我假设h2o算法打算使用MapReduce算法,那么在使用独立模式时,即使单个主机拥有与分配给YARN应用程序相同的内存,H2OFrame objs上的ML训练会不会慢一些?

    0 回复  |  直到 7 年前
        1
  •  1
  •   TomKraljevic    7 年前

    主要区别在于这些工作是如何开始的,以及它们是否能够方便地访问hdf。

    如果为每个节点提供相同数量的节点和内存/cpu,那么模型训练行为没有差别。