代码之家 › 专栏 › 技术社区 › astro_asz

如何获取mesos-agents框架执行器内存

mesos apache-spark

0

astro_asz · 技术社区 · 8 年前

在mesos web ui中,我可以在表中看到spark执行器的内存使用情况

Agents -> Framework -> Executors

有一个表列出了我的spark驱动程序的所有执行器,它们的内存使用情况在列中显示 Mem (Used / Allocated) .

有没有办法直接通过链接获得这个号码?如果有,怎么办?

例如,我可以通过 http://IP/mesos/metrics/snapshot 但执行器的内存使用不是其中之一。

2 回复 | 直到 8 年前

1

0

atline 8 年前

执行器的内存使用实际上与mesos任务有关,即每个任务执行器将消耗多少内存。

如果以上是您所需要的,您可以使用以下rest api来获取json,然后解析从中使用的内存。

FYI。

2

0

astro_asz 8 年前

我自己找到了答案。对于可以运行执行器的每个工作机/代理,直接访问内存信息如下:

http://IP_of_worker1:5051/slave(1)/monitor/statistics
http://IP_of_worker2:5051/slave(1)/monitor/statistics
等

内容是json格式的,framework_id允许查找表中给出的相关执行器及其内存消耗、cpu使用量等。