代码之家 › 专栏 › 技术社区 › Karn_way

如何从远程python服务连接到CDH集群

webhdfs cloudera-cdh hadoop amazon-web-services python-3.x

1

Karn_way · 技术社区 · 9 年前

我的用例是将运行在ec2上的外部服务中的数据写入CDH hadoop集群。

1 回复 | 直到 9 年前

1

2

Chris Nauroth 9 年前

Apache Hadoop提供了 WebHDFS ,这是HDFS操作的HTTP接口。这允许您使用任何Python HTTP客户端库(如 httplib urllib 或 urllib2

你也可以使用 Pydoop LibHDFS ,它是标准HDFS Java客户端上的C包装器。因此,它将直接利用HDFS RPC协议而不是HTTP。

推荐文章

Manoj Sreekumar · C#HDFS文件上载超时

8 年前

Djeah · 知道hadoop中数据节点的磁盘空间吗?

9 年前

Karn_way · 如何从远程python服务连接到CDH集群

9 年前

critical · fluent和webhdfs文件名,带有197001011

11 年前