到目前为止,一切似乎都很好。
选项(rsparkling.sparkwater.version=“2.3.259_nightly”)。
图书馆(RSparkling)
7。接火花
sc<-火花:火花连接(master=“local”)
错误:版本规范2.3.259每晚无效
< Buff行情>
错误:版本规范2.3.259每晚无效
注:
下载Sparkling Water Nightly Bleeding Edge.>a>version.
在Windows 7 R版本3.4.4上,软件包h2o、sparkr、sparklyr和连接工作正常,我只遇到与rsparkling有关的问题。
system('spark-submit--version')
欢迎使用
___
/_/_____//_
_\\/\/`/_/''_/
/_ 2.3.1版。
//
使用Scala版本2.1.8,Java热点(TM)64位服务器VM,1.80E151
分公司
用户vanzin于2018-06-01t20:37:04z编制
由于我可以解决这个问题,我安装了适当版本的rsparkling,与最新版本的h2o兼容。
编辑问题:Well Lauren感谢链接,Now I'm working with the latest stable version of H2O 3.20.0.5 and spparkling water.但显然,我认为问题不在于rsparkling软件包,而在于Sparklyr软件包,因为Apache Spark 2.3.1的最新版本已发布(2018年6月8日),而Sparklyr 0.8.4的最新更新是(2018年5月25日),也就是说,它是在一个月前发布的(Spark 2.3.1 did not exist.&em>)。因此命令:
spark_available_versions()。
火花
1 1.6.3
2 1.6.2段
3 1.6.1段
4 1.6.0节
5 2.0.0条
6 2.0.1条
7 2.0.2条
8 2.1.0条
9 2.1.1段
10 2.2.0条
11.2.2.1
12 2.3.0条
#设置火花连接
SC<-火花连接(master=“local”,version=“2.3.1”)不工作
spark_install_find出错(version,hadoop_version,latest=false,hint=true):
未安装Spark版本。要安装,请使用spark_install(version=“2.3.1”)。
spark_install(version=“2.3.1”)。
spark_install_find出错(version,hadoop_version,installed_only=false,:
Spark版本不可用。使用spark_available_versions()查找可用版本
sc<-spark_connect(master=“local”)工作正常
我认为解决方案将等待Sparklyr 0.9.0
- 步骤2的第一个问题安装旧版本的Sparklyr(与Spark 2.3.1不兼容),使用解决
install.packages("https://github.com/rstudio/sparklyr/archive/v0.8.0.tar.gz", repos = NULL, type="source")
- spark版本2.3.1的步骤3不可用,如命令所示
sparklyr::spark_available_versions() #2.3.0. 已解决直接从页面安装Apache Spark.
- 步骤6不工作,请安装不支持的版本
rsparkling使用H2O,packageVersion("h2o") #'3.21.0.4359'
我正在尝试以下操作,下载最新版本的起泡水,解压缩文件。并使用以下代码:
install.packages("C:/Users/USER/Downloads/sparkling-water-2.3.259_nightly/rsparkling.tar.gz", repos=NULL, type="source")
* installing *source* package 'rsparkling' ...
** package 'rsparkling' successfully unpacked and MD5 sums checked
** R
** inst
** preparing package for lazy loading
** help
*** installing help indices
** building package indices
** testing if installed package can be loaded
* DONE (rsparkling)
In R CMD INSTALL
到这里为止一切都很好。
options(rsparkling.sparklingwater.version = "2.3.259_nightly")
library(rsparkling)
# 7. Connect to Spark
sc <- sparklyr::spark_connect(master = "local")
Error: invalid version specification â2.3.259_nightlyâ
错误:版本规范2.3.259每晚无效
注:
下载Sparkling Water Nightly Bleeding Edge版本。
在Windows7R版本3.4.4上,包h2o、sparkr、sparklyr和连接工作正常,我只在R停车.
system('spark-submit --version')
Welcome to
____ __
/ __/__ ___ _____/ /__
_\ \/ _ \/ _ `/ __/ '_/
/___/ .__/\_,_/_/ /_/\_\ version 2.3.1
/_/
Using Scala version 2.11.8, Java HotSpot(TM) 64-Bit Server VM, 1.8.0_151
Branch
Compiled by user vanzin on 2018-06-01T20:37:04Z
因为我可以解决这个问题,所以我安装了R停车,与最新版本的H2O.
编辑问题:劳伦,谢谢你的链接,现在我正在研究最新稳定版本的H2O 3.20.0.5和SPParkling Water。但显然,我认为问题不在于rsparkling软件包,而在于Sparklyr软件包,因为Apache Spark 2.3.1的最新版本已发布(2018年6月8日),而Sparklyr 0.8.4的最新更新是(2018年5月25日),也就是说,它是在一个月前发布的。(spark 2.3.1不存在)因此,命令:
spark_available_versions()
spark
1 1.6.3
2 1.6.2
3 1.6.1
4 1.6.0
5 2.0.0
6 2.0.1
7 2.0.2
8 2.1.0
9 2.1.1
10 2.2.0
11 2.2.1
12 2.3.0
# Set spark connection
sc <- spark_connect(master = "local", version = "2.3.1") #It does not work
Error in spark_install_find(version, hadoop_version, latest = FALSE, hint = TRUE) :
Spark version not installed. To install, use spark_install(version = "2.3.1")
spark_install(version = "2.3.1")
Error in spark_install_find(version, hadoop_version, installed_only = FALSE, :
Spark version not available. Find available versions, using spark_available_versions()
sc <- spark_connect(master = "local") #it works perfectly
我想解决办法是等待Sparklyr 0.9.0
