代码之家 › 专栏 › 技术社区 › mandok

Google云上的Apache Spark,集群或无集群

google-cloud-dataproc google-cloud-storage google-cloud-platform apache-spark

mandok · 技术社区 · 7 年前

我想使用Apache Spark来操作Google云中的大量数据。

我按照文档的说明启动了一个有5个节点的云Dataproc集群。一切都完美无瑕。

在这种情况下,是否有必要对整个集群进行自旋操作?Spark在Google云存储上的效率是否和在HDFS上一样?

如果不是,那就更容易用Jupyter和Spark旋转一个大型VM,并用它在GCS上存储的数据上运行作业。

2 回复 | 直到 7 年前

Aniket Mokashi 7 年前

在Dataproc集群上,您可以使用Spark处理来自HDFS和GCS(Google Cloud Storage)的数据,两者都同样有效。集群的大小需要根据您计划在spark作业中执行的计算来决定。在比较一个大型VM和多个(较小)VM时,需要考虑一系列折衷方案——主要是在垂直扩展(使用一个VM)的程度上有一个上限。

howie 7 年前

如果您只需要分析来自Google云存储的数据,我建议您在需要时在dataproc上创建一个集群。但这仍然取决于这份工作需要多长时间,以及你多久做一次。

例如,您有一个计划的每小时ETL作业。您可以每小时创建一个新的clusetter,并在作业完成时删除。很划算。

推荐文章

ENRICO PEGORARO · R BigQuery:以拼花地板格式将数据导出到谷歌云存储

2 年前

Hyetigran · Netlify计划函数未将文件保存到产品中的GCP

2 年前

unnest_me · BigQuery从多个文件创建外部表所有文件共享相同的18列,除了较新的文件有一个额外的列

2 年前

badinmaths · DataFrame to_json('gs://bucket/path')不起作用

3 年前

dev_jongtae · 使用GCP云存储API时,项目Id是必需的吗?

3 年前

dazzaondmic · 将大量对象上传到谷歌云存储桶

3 年前

Andy Wallace · Imagemagik-从谷歌云存储打开“文件中的图像数据不足”错误

3 年前

Nickname · 使用Nextjs的签名URL将文件上传到GCS-错误代码403

3 年前

Jurgen · 是否可以从linux shell脚本从云存储中检索文档?

8 年前

Jan · GCP部署管理器:403没有存储。水桶。得以进入

8 年前