代码之家 › 专栏 › 技术社区 › Richard Deurwaarder

Apache flink-限制公开的度量的数量

flink-streaming apache-flink

Richard Deurwaarder · 技术社区 · 6 年前

在查看此类度量时,这似乎不是一个bug或类似的东西。

这是我用于度量的配置:

metrics.reporters: graphite
metrics.reporter.graphite.class: org.apache.flink.metrics.graphite.GraphiteReporter
metrics.reporter.graphite.host: some-host.com
metrics.reporter.graphite.port: 2003
metrics.reporter.graphite.protocol: TCP
metrics.reporter.graphite.interval: 60 SECONDS
metrics.scope.jm: applications.__ENVIRONMENT__.__APPLICATION__.<host>.jobmanager
metrics.scope.jm.job: applications.__ENVIRONMENT__.__APPLICATION__.<host>.jobmanager.<job_name>
metrics.scope.tm: applications.__ENVIRONMENT__.__APPLICATION__.<host>.taskmanager.<tm_id>
metrics.scope.tm.job: applications.__ENVIRONMENT__.__APPLICATION__.<host>.taskmanager.<tm_id>.<job_name>
metrics.scope.task: applications.__ENVIRONMENT__.__APPLICATION__.<host>.taskmanager.<tm_id>.<job_name>.<task_id>.<subtask_index>
metrics.scope.operator: applications.__ENVIRONMENT__.__APPLICATION__.<host>.taskmanager.<tm_id>.<job_name>.<operator_id>.<subtask_index>

因为我们不需要所有的400.000个指标,是否有可能影响哪些指标被公开?

1 回复 | 直到 6 年前

David Anderson 6 年前

您可能正在经历Flink的某些版本中出现的延迟度量的基数爆炸,其中延迟从每个源子任务跟踪到每个操作员子任务。这是弗林克1.7中提到的。见 https://issues.apache.org/jira/browse/FLINK-10484 和 https://issues.apache.org/jira/browse/FLINK-10243

为了快速修复,您可以尝试通过配置 metrics.latency.interval 成为0。

推荐文章

Ellen Spertus · 使用Scala访问HBase的推荐方法

7 年前

skrshn · JAVA尝试在Flink中创建Kafka使用者时出现lang.NoClassDefFoundError(CheckpointedRestoring)

7 年前

Daniel · 目录中的Apache Flink流文件

7 年前

Christos Hadjinikolis · Flink:执行管道java时出错。util。同时发生的TimeoutException:期货在[10000毫秒]后超时

7 年前

Mustafa · Apache Flink:自定义InputFormat仅以1的并行度运行

7 年前

Soheil Pourbafrani · Apache Flink-org的类文件。阿帕奇。弗林克。流式处理。api。斯卡拉。找不到数据流

7 年前

Jicaar · 一个卡夫卡制作人可以被多个接收器安全使用吗?

7 年前

Christos Hadjinikolis · Flink JobExecutionException:akka。客户超时

7 年前

Christos Hadjinikolis · Flink IOException:网络缓冲区数量不足

7 年前

Brutal_JL · flink ReduceFunction的默认触发器是什么?

7 年前