我使用的是10核r4.8XL集群。AWS文件
https://aws.amazon.com/ec2/virtualcores/
表示r4.8XL的每个EC2实例类型都包含16个虚拟核心计数。问题1。这是否意味着有160个并行内核(每个执行器16个内核)。由此我也问,一个核心=一个火花执行器?问题2。Spark文档说
The number of cores allocated to the Spark Streaming application must be more than the number of receivers. Otherwise the system will receive data, but not be able to process it.
问题2。如果我要为我的spark流媒体工作创建15个接收器,我应该将spark.executor.cores设置为15或更高。还是应该将集群的核心总数从10个增加到15个?
