代码之家 › 专栏 › 技术社区 › Tom

如何在flink中指定任务管理器/任务槽的核心数

apache-flink

Tom · 技术社区 · 4 年前

纱线-session.sh-d-n12-tm4096-qu QueueX-s4-jm2048

我们将任务管理器的内存指定为4096,还将每个任务管理器的插槽数指定为4。任务管理器的内存的1/4完全分配给每个任务槽。

那么,CPU核心呢?

如果我们不指定核心数量,那么每个任务管理器/任务槽将使用多少核心。

0 回复 | 直到 4 年前

Mikalai Lushchytski 4 年前

taskmanager.numberOfTaskSlots flink/conf/flink-conf.yaml . 如果要为每个TaskManager分配多个不同于插槽号的vCore,可以另外提供 yarn.containers.vcores 开始 flink/conf/flink-conf.yaml

推荐文章

Ellen Spertus · 使用Scala访问HBase的推荐方法

7 年前

skrshn · JAVA尝试在Flink中创建Kafka使用者时出现lang.NoClassDefFoundError(CheckpointedRestoring)

7 年前

Daniel · 目录中的Apache Flink流文件

7 年前

Christos Hadjinikolis · Flink:执行管道java时出错。util。同时发生的TimeoutException:期货在[10000毫秒]后超时

7 年前

Mustafa · Apache Flink:自定义InputFormat仅以1的并行度运行

7 年前

Soheil Pourbafrani · Apache Flink-org的类文件。阿帕奇。弗林克。流式处理。api。斯卡拉。找不到数据流

7 年前

Jicaar · 一个卡夫卡制作人可以被多个接收器安全使用吗?

7 年前

Christos Hadjinikolis · Flink JobExecutionException:akka。客户超时

7 年前

Christos Hadjinikolis · Flink IOException:网络缓冲区数量不足

7 年前

Brutal_JL · flink ReduceFunction的默认触发器是什么?

7 年前