代码之家  ›  专栏  ›  技术社区  ›  xingbin

如何得到弗林克所有平行度的度量?

  •  0
  • xingbin  · 技术社区  · 6 年前

    在FlinkWebUI中,我可以得到每个并行度的度量,

    对于并行度0,它喜欢:

    0_filter_numberOfRecords in 
    

    对于Parallelism 9,它喜欢:

    9_filter_numberOfRecords in 
    

    如何获得所有并行度的相同度量?

    0 回复  |  直到 6 年前
        1
  •  1
  •   Till Rohrmann    6 年前

    您可以通过直接查询flink的rest端点来获得聚合的度量。您需要以下信息:

    1. 作业ID jobId 标识要查询的运算符所属的作业
    2. 顶点ID vertexId 确定要从中检索度量的运算符

    这个 乔伊德 可查询得到 http://flink_cluster:port/jobs .

    这个 小精灵 可查询得到 http://flink_cluster:port/jobs/:jobId 它提供作业信息(具有顶点ID的运算符列表)。

    获得所需的ID后,可以向以下对象发送GET请求:

    http://flink_cluster:port/jobs/:jobId/vertices/:vertexId/subtasks/metrics?get=filter.numberOfRecords

    请替换 :jobId :vertexId 有各自的身份证。

    如果要在子任务的子范围内聚合度量,则可以将请求更改为 subtasks/metrics?get=filter.numberOfRecords&subtasks=0-1,4-5 以便指定要包含在聚合中的子任务。