代码之家  ›  专栏  ›  技术社区  ›  Sarah

在macOS上安装Apache Spark 3.5.0

  •  0
  • Sarah  · 技术社区  · 2 年前

    我正试图让pyspark在我的设备上工作,开始一门课程,我是macOS的新手。我遵循了本文中的步骤 here 但我使用了不同版本的Spark和python,而其他版本是相同的。当我到达最后一步并在终端中键入pyspark时,我会收到以下消息“zsh:commandnot found:pyspark”

    This is what I changed my .bash_profile to:
    
    export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.jdk/Contents/Home/
    export SPARK_HOME=/Users/sarah/server/spark-3.5.0-bin-hadoop3
    export SBT_HOME=/Users/sarah/server/sbt
    export SCALA_HOME=/Users/sarah/server/scala-2.11.12
    export PATH=$JAVA_HOME/bin:$SBT_HOME/bin:$SBT_HOME/lib:$SCALA_HOME/bin:$SCALA_HOME/lib:$PATH
    export PATH=$JAVA_HOME/bin:$SPARK_HOME:$SPARK_HOME/bin:$SPARK_HOME/sbin:$PATH
    export PYSPARK_PYTHON=python3
    
    
    PATH=”/Library/Frameworks/Python.framework/Versions/3.12/bin:${PATH}”
    export PATH
    

    这就是我在运行/usr/libexec/java_home-V时所拥有的:

    Matching Java Virtual Machines (3):
        21.0.1 (arm64) "Oracle Corporation" - "Java SE 21.0.1" /Library/Java/JavaVirtualMachines/jdk-21.jdk/Contents/Home
        1.8.391.13 (arm64) "Oracle Corporation" - "Java" /Library/Internet Plug-Ins/JavaAppletPlugin.plugin/Contents/Home
        1.8.0_391 (arm64) "Oracle Corporation" - "Java SE 8" /Library/Java/JavaVirtualMachines/jdk-1.8.jdk/Contents/Home
    /Library/Java/JavaVirtualMachines/jdk-21.jdk/Contents/Home
    
    

    And these are the programs I downloaded

    我的设备: 型号名称:MacBook Pro-型号标识符:Mac14,10-芯片:Apple M2 Pro

    我试着退出终端并再次打开它,但没有成功。我也是终端新手。如有任何帮助,我们将不胜感激。

    0 回复  |  直到 2 年前