代码之家 › 专栏 › 技术社区 › user99999991

Flume能否将ElasticSearch与Amazon Elastic Search服务结合使用?

flume-ng flume amazon-ec2 hadoop amazon-web-services

0

user99999991 · 技术社区 · 8 年前

最初,我试图将Flume设置为将S3写入AWS设置,如下所示:

aws.sinks.channel1.type = hdfs
aws.sinks.channel1.hdfs.path=s3n://<id>:<secretkey>/<bucketname>
aws.sinks.channel1.hdfs.fileType=DataStream
aws.sinks.channel1.hdfs.writeFormat=Text
aws.sinks.channel1.hdfs.rollCount = 0
aws.sinks.channel1.hdfs.rollSize = 67108864
aws.sinks.channel1.hdfs.batchSize = 1000
aws.sinks.channel1.hdfs.rollInterval = 0

然而,我突然想到,我无权访问“bucketname”。
Amazon上的ElasticSearch服务不公开文件系统层。

是否有任何方法可以使用elasticsearch接收器或某种http接收器将flume信息推送到AWS上的Kibana之类的地方?

为了清楚起见,我想将ElasticSearch推到亚马逊。我的资料来源是avro&http,而不是来自亚马逊。

2 回复 | 直到 8 年前

1

0

OneCricketeer Gabriele Mariotti 8 年前

目前尚不清楚您的来源是什么,但Beats是替代Flume代理的麋鹿堆栈。Logstash和/或Kafka是持久通道

Flume将读取您的hdfs站点。用于S3访问密钥的xml,因此它可以从中获取密钥

您可以安装ES Hadoop,以获得从Hadoop(和S3文件系统)读取数据的弹性。我没有亲自尝试过,但我知道图书馆的存在就是因为这个原因。

如果要使用Flume,可以使用syslog或netcat Flume接收器写入Logstash(如果有),Logstash可以索引到Elasticsearch。我相信还有一个WebHDFS插件用于Logstash。

另一种解决方案包括使用NiFi或Streamset代替Flume

2

0

user99999991 8 年前

https://forums.aws.amazon.com/thread.jspa?messageID=683536

当谈到AWS ElasticSearch服务时,本机传输不支持协议。支持HTTP协议上的REST API 目前。

真倒霉