代码之家 › 专栏 › 技术社区 › Kavya shree

从csv转换为拼花时,将字符串映射为日期和时间格式的AWS粘合作业

aws-glue amazon-athena parquet etl amazon-s3

0

Kavya shree · 技术社区 · 7 年前

当从csv转换到拼花地板时,使用aws glue etl作业跟踪csv中的映射字段,并将其作为字符串读取到日期和时间类型。这是实际的csv文件

映射和转换之后,日期字段为空,时间与今天的日期连接起来。

如何用正确的日期和时间格式转换?

1 回复 | 直到 7 年前

1

0

Sandeep Fatangare 7 年前

它使用presto数据类型,因此数据的格式应该正确

日期日历日期(年、月、日)。

示例:日期“2001-08-22”

一天中没有时间的时间(小时、分钟、秒、毫秒) 区域。此类型的值在会话时间内被分析和呈现区域。

示例:时间“01:02:03.456”

时间戳即时,包括日期和时间没有时区。此类型的值在会话时区。

示例:时间戳“2001-08-22 03:04:05.321”

您可以使用

df = df.withColumn(col, to_timestamp(col, 'dd-MM-yyyy HH:mm'))
df = df.withColumn(col, to_date(col, 'dd-MM-yyyy'))
df = df.withColumn(col, date_format(col, 'HH:mm:ss'))