代码之家 › 专栏 › 技术社区 › marvi

在CDH 5上安装Spark 2。*使用RPM?

cloudera-cdh apache-spark

marvi · 技术社区 · 7 年前

我从RPM软件包中安装了Cloudera CDH 5.11群集(我们不想使用Cloudera Manager或parcels)。是否有人发现/构建了CDH的Spark 2 RPM软件包?Cloudera似乎只将Spark 2作为包裹发货。

4 回复 | 直到 7 年前

Community CDub 5 年前

你不会的。目前,文件“Spark 2已知问题”明确指出:

不支持软件包安装

marvi 6 年前

最好的方法是使用 Spark on Yarn

您需要做的是打包Spark History Server,以便能够在作业完成后查看作业。而且,如果您想使用动态分配,您需要在Yarn中配置Spark Shuffle服务。

BurritoBoy 7 年前

是否可以使用CM在RPM安装的集群上安装Spark2软件包?

marvi 6 年前

推荐文章

user3579222 · 阅读以前的Spark API

6 月前

JFlo · 在PySpark笔记本中读取多个Parquet文件

6 月前

Matthew Thomas · partition覆盖动态和“逻辑”分区

10 月前

Jamal Khan · 如何在Apache Spark中读取500 GB的大文件CSV文件并对其执行聚合?

11 月前

Nakeuh · 从数组列中新建数据帧列

12 月前

maximodesousadias · 如何根据条件删除日期后的记录

12 月前

Ajay S Pal · 当调用函数时传递参数时,PySpark没有在函数内部创建Dataframe

1 年前

SUBHOJEET · 如何使用pyspark读取rds文件?

1 年前

Shankar Panda · 如何从org.apache.spark.sql获取密钥。在scala中键入列并将其放入列表变量中?

1 年前

Aaron Brazier · 连接2个pyspark数据帧并继续运行窗口sum和max

1 年前