代码之家 › 专栏 › 技术社区 › Tim unnamed eng

我需要安装火花释放包以外的其他东西吗?

pyspark apache-spark

1

Tim unnamed eng · 技术社区 · 6 年前

安装Spark似乎有两种方法。

通过从下载预构建的Spark release(例如Spark-2.4.5-bin-hadoop2.7.tgz)安装Spark时 https://spark.apache.org/downloads.html ,
- 我需要额外安装吗 java 命令,通过安装JRE?
- 我需要额外安装java编译器吗 javac
- 我需要额外安装scala编译器吗?(我想没有,因为我看到下载的Spark release包含 ./jar/scala-compiler.jar .)
- ./bin/pyspark .)
运行安装火花时 pip install pyspark ,是吗另外安装一些东西以编程Spark

谢谢。

0 回复 | 直到 6 年前

1

0

Dyno Fu 6 年前

https://spark.apache.org/faq.html

是的,请参阅常见问题解答。

我是否需要通过安装JDK来另外安装java编译器javac?

没有。我想没有,但我总是用sdk。

我需要额外安装scala编译器吗?(我想没有,因为我看到下载的Spark版本包含了./jar/scala-编译器.jar.)

不

我需要额外安装pyspark吗?(我想没有,因为我看到下载的Spark版本包含了./bin/pyspark。)

不

对。

tree .venv/lib/python3.6/site-packages/pyspark/bin
.venv/lib/python3.6/site-packages/pyspark/bin
âââ beeline
âââ beeline.cmd
âââ docker-image-tool.sh
âââ find-spark-home
âââ find-spark-home.cmd
âââ load-spark-env.cmd
âââ load-spark-env.sh
âââ pyspark
âââ pyspark.cmd
âââ pyspark2.cmd
âââ run-example
âââ run-example.cmd
âââ spark-class
âââ spark-class.cmd
âââ spark-class2.cmd
âââ spark-shell
âââ spark-shell.cmd
âââ spark-shell2.cmd
âââ spark-sql
âââ spark-sql.cmd
âââ spark-sql2.cmd
âââ spark-submit
âââ spark-submit.cmd
âââ spark-submit2.cmd
âââ sparkR
âââ sparkR.cmd
âââ sparkR2.cmd

要在scala中编程,您需要安装scala来实际创建应用程序jar。

我认为使用下载的版本更容易迁移到集群中运行东西。