代码之家 › 专栏 › 技术社区 › Joni Hoppen

如何将sparlyr连接到spark独立集群

sparklyr apache-spark r

1

Joni Hoppen · 技术社区 · 8 年前

这就是我试图连接到集群的方式

Sys.setenv(SPARK_HOME="/usr/local/Cellar/apache-spark/2.3.1/")
config <- spark_config()
sc <- spark_connect(master = "spark://192.168.0.100:7077", config = 
config, version = '2.3.1')

结果如下:

Error in force(code) : 
  Failed while connecting to sparklyr to port (8880) for sessionid (88284): Gateway in port (8880) did not respond.
Path: /usr/local/Cellar/apache-spark/2.3.1/bin/spark-submit
Parameters: --class, sparklyr.Shell, '/Library/Frameworks/R.framework/Versions/3.4/Resources/library/sparklyr/java/sparklyr-2.3-2.11.jar', 8880, 88284
Log: /var/folders/dw/mx796jyn2ydgw0fj536q21tm0000gn/T//RtmpeStX3x/file27531f8f123_spark.log
---- Output Log ----


---- Error Log ----

1 回复 | 直到 8 年前

1

0

Joni Hoppen 8 年前

在研究了几种解决方案之后,这是一种简单的方法。问题是,我在一个由brew安装的mac上使用spark,所以路径是libexec中的一个文件夹,而不是2.3.1,因此现在它工作得很好。

sc <- spark_connect(master="spark://192.168.0.100:7077", 
                    version = "2.3.1",
                    config = conf,
                    spark_home = "/usr/local/Cellar/apache-spark/2.3.1/libexec/

推荐文章

Akira · 安装Sparkyr时出现initialize\u connect错误

9 年前

Konrad · 使用dplyr的enquo通过sparklyr访问Spark表列

9 年前

schoon · 如何使用SparkyR添加一个罐子?

9 年前

Sundar N · 连接到S3的Sparkyr bucket抛出错误

9 年前

âÊÊá¸á¸½á¸ · 获取节点数、代码数和可用RAM以进行调优

9 年前

eyeOfTheStorm · Spark数据帧的最后一行(使用Sparkyr和dplyr)

9 年前

enneppi · Sparkyr:跳过文本文件的第一行

9 年前