代码之家 › 专栏 › 技术社区 › brain storm

对于spark流应用程序,resource offer如何与mesos一起工作?

mesosphere mesos apache-spark

2

brain storm · 技术社区 · 7 年前

我有一个“永无止境”的spark流应用程序,我在其中配置了需要并行的执行器/内核/内存。当我的spark应用程序启动时,这些资源不是只获得一次吗。也就是说,如果我的遗嘱执行人无所事事,他们会被交还给梅索斯吗?

同样的问题也可以推广到其他长期运行的框架,如cassandra或细观纱线。

1 回复 | 直到 7 年前

1

0

ashahan 7 年前

在介子上产生火花的最佳来源是 the spark docs site here .

粗粒度模式的好处是大大降低了启动开销,但代价是在整个应用程序期间保留Mesos资源。要配置作业以动态调整其资源需求,请查看动态分配。