无法在amazon emr中使用apache flink

从日志中:

文件系统方案为“file”。这表明指定的Hadoop配置路径错误,系统正在使用默认Hadoop配置值。Flink YARN客户端需要将其文件存储在分布式文件系统中

Flink未能读取Hadoop配置文件。它们可以从环境变量中获取,例如HADOOP_HOME,也可以在flink-conf中设置配置目录。yaml,然后执行YARN命令。

Flink需要读取Hadoop配置,以了解如何将Flink jar上传到集群文件系统,以便新创建的YARN集群可以访问它。如果Flink未能解析Hadoop配置,它将使用本地文件系统上载jar。这意味着jar将放在启动集群的机器上。因此,无法从Flink YARN集群访问它。

请参见 Flink configuration page 了解更多信息。

编辑:在Amazong EMR上, export HADOOP_CONF_DIR=/etc/hadoop/conf 让我们Flink发现Hadoop配置目录。

如果我是你,我会试试这个:

./bin/纱线会话。sh-n 1-jm 768-tm 768