代码之家 › 专栏 › 技术社区 › downer

使用Groovy在Hadoop流媒体中包含jar文件

hadoop streaming groovy

downer · 技术社区 · 16 年前

有什么简单的方法吗?似乎这可以大大缩短map reduce任务的开发时间,尤其是那些我只打算运行几次的任务。

我想做的是:

hadoop jar streaming.jar -mapper "groovy -ne 'import a.b.c.Foo; println Foo.doSomething(line)' -reducer "wc -l" -input input -output output -jarstoinclude ~/jarWithJava.jar

有什么办法吗?

2 回复 | 直到 15 年前

bajafresh4life 15 年前

如果需要将jar添加到groovy类路径中,可以将它们放在每个Hadoop节点的~/.groovy/lib中。

或者您可以将jar复制到每个节点中的某个目录,并使用groovy命令的-cp标志显式指定它们。

Nat Ritmeyer 13 年前

您可以使用 -libjar 属性。既然groovy是在hadoop jobs jam中运行的,那么它应该能够找到类。

推荐文章

Gorgeo · Netty framework-多端口侦听

8 年前

user1305398 · 流式Rest Api—以数据块的形式从restful Api以流的形式向客户端发送数据

8 年前

Yitian Zhang · 打开Heron UI非常慢

8 年前

user9404403 · 如何在writeStream中访问ArrayType中的元素?

8 年前

Mohammed Zubair Khan · 如何创建一个随着数据负载增加而自我复制的微服务?

8 年前

Urs Meili · WCF NetTcp绑定-将传输模式从缓冲更改为流

8 年前

Mahsa Hassankashi · 如何通过sys读取Python中的两个不同文件。标准DIN

8 年前

searain · 在流数据仍在缓冲区中时复制bigquery表

8 年前

Pliny · FFMPEG交互式模式帮助选项

8 年前

JeyPay · PiCamera流媒体

8 年前