代码之家  ›  专栏  ›  技术社区  ›  Kavya shree

从csv转换为拼花时,将字符串映射为日期和时间格式的AWS粘合作业

  •  0
  • Kavya shree  · 技术社区  · 6 年前

    当从csv转换到拼花地板时,使用aws glue etl作业跟踪csv中的映射字段,并将其作为字符串读取到日期和时间类型。 enter image description here 这是实际的csv文件 enter image description here

    映射和转换之后,日期字段为空,时间与今天的日期连接起来。 enter image description here

    如何用正确的日期和时间格式转换?

    1 回复  |  直到 6 年前
        1
  •  0
  •   Sandeep Fatangare    6 年前

    它使用presto数据类型,因此数据的格式应该正确

    日期日历日期(年、月、日)。

    示例:日期“2001-08-22”

    一天中没有时间的时间(小时、分钟、秒、毫秒) 区域。此类型的值在会话时间内被分析和呈现 区域。

    示例:时间“01:02:03.456”

    时间戳即时,包括日期和时间 没有时区。此类型的值在 会话时区。

    示例:时间戳“2001-08-22 03:04:05.321”

    您可以使用

    df = df.withColumn(col, to_timestamp(col, 'dd-MM-yyyy HH:mm'))
    df = df.withColumn(col, to_date(col, 'dd-MM-yyyy'))
    df = df.withColumn(col, date_format(col, 'HH:mm:ss'))