代码之家 › 专栏 › 技术社区 › Geet

使用R将来自databricks的spark数据帧写入azure数据仓库

sparkr apache-spark r

1

Geet · 技术社区 · 7 年前

spark_df.coalesce(1).write.format("com.databricks.spark.csv").option("header", "true").mode("overwrite").save('...path to azure data lake store folder')

1 回复 | 直到 7 年前

1

user10355350 7 年前

这应该是:

spark_df %>% 
  coalesce(1L) %>%          # Same as coalesce(1).
  write.df(                 # Generic writer, because there is no csv specific one
    "...path to azure...",  # Path as before 
     source = "csv",        # Since 2.0 you don't need com.databricks 
     mode = "overwrite", 
     header = "true"        # All ... are used as options
  )

推荐文章

Saurabh Chauhan · 在SparkR中使用h2o合并柱(h2o.merge)

8 年前

eyeOfTheStorm · Spark数据帧的最后一行(使用Sparkyr和dplyr)

8 年前

sag Outsider · 舍入列中的值-SarkR

9 年前

jduff1075 · SparkR-提取R函数的数据帧数组<int>

9 年前

Ole Petersen · 在sparkR中加载csv文件

10 年前

Marcin · sparkR 1.4.0中的聚合统计信息

10 年前