代码之家 › 专栏 › 技术社区 › Joni Hoppen

如何将sparlyr连接到spark独立集群

sparklyr apache-spark r

Joni Hoppen · 技术社区 · 7 年前

这就是我试图连接到集群的方式

Sys.setenv(SPARK_HOME="/usr/local/Cellar/apache-spark/2.3.1/")
config <- spark_config()
sc <- spark_connect(master = "spark://192.168.0.100:7077", config = 
config, version = '2.3.1')

结果如下:

Error in force(code) : 
  Failed while connecting to sparklyr to port (8880) for sessionid (88284): Gateway in port (8880) did not respond.
Path: /usr/local/Cellar/apache-spark/2.3.1/bin/spark-submit
Parameters: --class, sparklyr.Shell, '/Library/Frameworks/R.framework/Versions/3.4/Resources/library/sparklyr/java/sparklyr-2.3-2.11.jar', 8880, 88284
Log: /var/folders/dw/mx796jyn2ydgw0fj536q21tm0000gn/T//RtmpeStX3x/file27531f8f123_spark.log
---- Output Log ----


---- Error Log ----

1 回复 | 直到 7 年前

Joni Hoppen 7 年前

在研究了几种解决方案之后,这是一种简单的方法。问题是,我在一个由brew安装的mac上使用spark,所以路径是libexec中的一个文件夹,而不是2.3.1,因此现在它工作得很好。

sc <- spark_connect(master="spark://192.168.0.100:7077", 
                    version = "2.3.1",
                    config = conf,
                    spark_home = "/usr/local/Cellar/apache-spark/2.3.1/libexec/

推荐文章

Amp · 使用R ggplot2删除geom_radial中axis.line和panel.border之间的空格

5 月前

Hard_Course · 用另一列中的值替换行的最后一个非NA条目

5 月前

Mark R · 使用geom_sf()删除地球仪上不需要的网格线

5 月前

Joe · 根据对工作日和本周早些时候的日期的了解,找到一个日期

5 月前

Ben · 统计向量中的单词在字符串中出现的频率

5 月前

TheCodeNovice · R中符号格式的尾随零和其他问题[重复]

5 月前

katefull06 · 在R中使用terra修改范围时,会为单独的SpatRaster重写范围

5 月前

dez93_2000 · 在R管道子功能中引用管道对象的当前状态

6 月前

accibio · 在ggplot2中为同一变量创建两个连续的颜色渐变比例

6 月前

Mankka · 如何在Ggplot2中绘制均匀的径向图

6 月前