代码之家  ›  专栏  ›  技术社区  ›  Karn_way

如何从远程python服务连接到CDH集群

  •  1
  • Karn_way  · 技术社区  · 8 年前

    我的用例是将运行在ec2上的外部服务中的数据写入CDH hadoop集群。

    1 回复  |  直到 8 年前
        1
  •  2
  •   Chris Nauroth    8 年前

    Apache Hadoop提供了 WebHDFS ,这是HDFS操作的HTTP接口。这允许您使用任何Python HTTP客户端库(如 httplib urllib urllib2

    你也可以使用 Pydoop LibHDFS ,它是标准HDFS Java客户端上的C包装器。因此,它将直接利用HDFS RPC协议而不是HTTP。