代码之家  ›  专栏  ›  技术社区  ›  Tim unnamed eng

我需要安装火花释放包以外的其他东西吗?

  •  1
  • Tim unnamed eng  · 技术社区  · 5 年前

    安装Spark似乎有两种方法。

    1. 通过从下载预构建的Spark release(例如Spark-2.4.5-bin-hadoop2.7.tgz)安装Spark时 https://spark.apache.org/downloads.html ,

      • 我需要额外安装吗 java 命令,通过安装JRE?

      • 我需要额外安装java编译器吗 javac

      • 我需要额外安装scala编译器吗?(我想没有,因为我看到下载的Spark release包含 ./jar/scala-compiler.jar .)

      • ./bin/pyspark .)

    2. 运行安装火花时 pip install pyspark ,是吗 另外安装一些东西以编程Spark

    谢谢。

    0 回复  |  直到 5 年前
        1
  •  0
  •   Dyno Fu    5 年前

    https://spark.apache.org/faq.html

    是的,请参阅常见问题解答。

    我是否需要通过安装JDK来另外安装java编译器javac?

    没有。我想没有,但我总是用sdk。

    我需要额外安装scala编译器吗?(我想没有,因为我看到下载的Spark版本包含了./jar/scala-编译器.jar.)

    我需要额外安装pyspark吗?(我想没有,因为我看到下载的Spark版本包含了./bin/pyspark。)

    对。

    tree .venv/lib/python3.6/site-packages/pyspark/bin
    .venv/lib/python3.6/site-packages/pyspark/bin
    ├── beeline
    ├── beeline.cmd
    ├── docker-image-tool.sh
    ├── find-spark-home
    ├── find-spark-home.cmd
    ├── load-spark-env.cmd
    ├── load-spark-env.sh
    ├── pyspark
    ├── pyspark.cmd
    ├── pyspark2.cmd
    ├── run-example
    ├── run-example.cmd
    ├── spark-class
    ├── spark-class.cmd
    ├── spark-class2.cmd
    ├── spark-shell
    ├── spark-shell.cmd
    ├── spark-shell2.cmd
    ├── spark-sql
    ├── spark-sql.cmd
    ├── spark-sql2.cmd
    ├── spark-submit
    ├── spark-submit.cmd
    ├── spark-submit2.cmd
    ├── sparkR
    ├── sparkR.cmd
    └── sparkR2.cmd
    

    要在scala中编程,您需要安装scala来实际创建应用程序jar。

    我认为使用下载的版本更容易迁移到集群中运行东西。