Hadoop从Hadoop节点的本地文件系统访问第三方库

您需要将文件复制到HDFS,而不是本地文件系统。

要将文件复制到HDFS,需要使用:

hadoop fs -put localfile hdfsPath

其他选项是将文件路径更改为:

file:///home/ubuntu/libs/javacv-0.9.jar

要将jar文件添加到类路径,请查看 DistributedCache :

DistributedCache.addFileToClassPath(new Path("file:///home/ubuntu/libs/javacv-0.9.jar"), job);

您可能需要遍历该目录中的所有jar文件。

另一种选择是使用 distributed cache 的 addFileToClassPath(new Path("/myapp/mylib.jar"), job); 提交应该添加到mapper和reducer任务的类路径中的Jar文件。

注意:确保首先将jar文件复制到HDFS。

您甚至可以使用hadoop命令行参数将jar文件添加到类路径 -libjars <jar_file> .

注意:确保MapReduce应用程序实现 ToolRunner 允许 -libjars 选项。