代码之家 › 专栏 › 技术社区 › Thelight

ELK apache spark应用程序日志

filebeat elasticsearch apache-spark

0

Thelight · 技术社区 · 7 年前

0 回复 | 直到 7 年前

1

turtlemonvh 6 年前

可以配置Spark日志记录 via Log4J . 有关设置log4j配置的一些边缘情况的讨论,请参见 SPARK-16784 ,但是如果您只想收集集群中的所有应用程序日志(vs logs per job),则不需要考虑这些。

谢天谢地,不推荐使用的插件的文档描述了如何配置log4j在本地为FileBeat写入数据,以及如何设置FileBeat来使用这些数据并将其发送到Logstash实例。现在建议使用log4j从系统中发送日志。

总而言之,从Spark获取原木到麋鹿的推荐方法是: