在EMR上运行Spark应用程序速度较慢

我是Spark和MApReduce的新手,在Elastic Map Reduce(EMR)AWS集群上运行Spark时遇到问题。 问题是在EMR上运行要花费我很多时间。

例如,我有数百万的记录。csv文件,我在JavaRDD中读取和转换。对于Spark,在此数据集上计算简单的mapToDouble()和sum()函数需要104.99秒。

然而,当我在没有Spark的情况下使用Java8和转换进行相同的计算时。要列出csv文件,只需0.5秒。(见下面的代码)

这是火花代码(104.99秒):

    private double getTotalUnits (JavaRDD<DataObject> dataCollection)
{
    if (dataCollection.count() > 0) 
    {
        return dataCollection
                .mapToDouble(data -> data.getQuantity())
                .sum();
    }
    else
    {
        return 0.0;
    }
}

这是相同的Java代码,没有使用spark(0.5秒)

    private double getTotalOps(List<DataObject> dataCollection)
{
    if (dataCollection.size() > 0)
    {
        return dataCollection
                .stream()
                .mapToDouble(data -> data.getPrice() * data.getQuantity())
                .sum();
    }
    else
    {
        return 0.0;
    }

}

我是EMR和Spark的新手,所以我不知道该怎么解决这个问题?

更新时间: 这是函数的单个示例。我的全部任务是计算不同的统计数据(总和、平均值、中值),并对6 GB的数据执行不同的转换。这就是我决定使用Spark的原因。 整个应用程序的数据容量为6gb,使用常规Java运行大约需要3分钟,使用Spark和MapReduce运行18分钟