代码之家 › 专栏 › 技术社区 › Vladimir Kravets

在Spark中加载CSV,类型为非标准格式

apache-spark-dataset schema apache-spark parsing csv

Vladimir Kravets · 技术社区 · 8 年前

我有一个csv文件,我想用Spark读取它,指定一个模式来获取我需要的类型。诸如此类:

Dataset<Row> ds = sqlContext.read()
    .format("csv")
    .option("header", "false")
    .schema(customSchema)
    .load("myCsvFilePath.csv");

但在我的csv文件中,有些列是以非标准方式记录的,例如,双精度值使用逗号作为十进制分隔符,或者日期时间值是格式为dd.MM的字符串。yyyy年。是否可以定义这样的模式?或者我应该将这些列作为字符串读取,然后显式解析它们?

1 回复 | 直到 8 年前

Arnon Rotem-Gal-Oz 8 年前

将奇数格式转换为标准格式是您希望使用spark的dataprep管道的一部分,因此可以将这些列作为字符串读取,然后使用内置函数或udf将列替换为固定的列(例如使用withColumn)

import org.apache.spark.sql.functions._ 

df.withColumn("fixed_date",unix_timestamp(col("date_column"),"dd.MM.YYYY")).withColumn("fixed_double",regexp_replace(col("double_column"),",",".").cast("double"))

推荐文章

Felix Cartwright · 为什么在我的JSON模式中没有遵守必填字段?

1 年前

Community wiki · Sql 2005备份和架构更改交互

2 年前

John Ervin · 架构优先。NET Graphql未解析MVE

2 年前

Seegel · 调用Sub Shema以验证Json Schema中的不同属性

2 年前

Vladimir Kravets · 在Spark中加载CSV,类型为非标准格式

8 年前

Jakub Mosakowski · Xml架构唯一性不检查唯一性

8 年前

nrs · 如何验证json的结构?

8 年前

Nikita Vlasenko · 在一个数据库中集成多个相同结构的数据集

8 年前

R.Thompson · 尝试在Graphiql上执行Graphql突变

8 年前

scot · 在执行db2查询以获取所有架构时,找不到接受参数“from”的位置参数

8 年前