代码之家  ›  专栏  ›  技术社区  ›  Ole Petersen

在sparkR中加载csv文件

  •  3
  • Ole Petersen  · 技术社区  · 11 年前

    在R中,我创建了两个数据集,并将其保存为csv文件

    liste <-write.csv(liste, file="/home/.../liste.csv", row.names=FALSE)
        data <- write.csv(data, file="/home/.../data.csv", row.names=FALSE)
    

    我现在想在SparkR中打开这些csv文件。所以我键入

    liste <- read.df(sqlContext, "/home/.../liste.csv", "com.databricks.spark.csv", header="true", delimiter= "\t")
    
    data <- read.df(sqlContext, "/home/.../data.csv", "com.databricks.spark.csv", header="true", delimiter= "\t")
    

    事实证明,在SparkR中成功加载了一个数据集“liste”,但由于某些奇怪的原因,无法加载“data”。

    “liste”只是R中数字的向量,而“data”是数据。帧我已加载到R中,并删除了data.frame的一些部分。SparkR给我这个错误消息:

    错误:returnStatus==0不是TRUE

    1 回复  |  直到 11 年前
        1
  •  2
  •   Wannes Rosiers    11 年前

    Liste是一个可以用write编写的本地列表。csv,数据是一个SparkR DataFrame,不能用write写入。csv:它只写入指针,而不是DataFrame。这就是为什么它只有33 kb