代码之家 › 专栏 › 技术社区 › PineNuts0

PySpark:如何将UTC时间戳字段转换为CST(美国/中央)保持时间戳数据类型

timezone timestamp pyspark python

-1

PineNuts0 · 技术社区 · 7 年前

我有下面的示例数据集。列的数据类型是timestamp

datetime_utc
2017-03-29T23:20:00Z
2017-04-17T19:00:00Z

我想将UTC(协调世界时)转换为中央标准时间(CST)。我知道如何在Python熊猫中执行此操作,但不知道如何在Pyspark中执行此操作。

1 回复 | 直到 7 年前

Manoj Singh 7 年前

在spark dataframe中,您可以使用 from_utc_timestamp() 函数将UTC转换为其他时区。

import pyspark.sql.functions as F
df.withColumn('datetime_cst', F.from_utc_timestamp('datetime_utc', 'CST')).show()

推荐文章

Starvsnr · Excel/VBA:在单元格首次更新时创建静态时间戳

1 年前

Bernhard Gratzl · 合并具有不同时间戳的表?

1 年前

Delopera · Pandas:包含X行的最短间隔

2 年前

nuxie · Snowflake-.toISOString()在JS存储过程中错误地舍入时间戳

2 年前

kerstoff0mega · 如何在SQL中将随机化的UNIX时间戳保持在特定的小时范围内?

2 年前

F.I. · JS时间戳错误-时区设置[已关闭]

2 年前

svn · 将pandas-df[datetime]时间和日期列合并为一个日期时间列

2 年前

WestCoastProjects · 如何在python时间戳文本中指定时区?

2 年前

dek · 谷歌工作表TIMESTAMP脚本格式时间(以毫秒计)&日期(以天计)和月份(不以年计)

2 年前

Marc Le Bihan · 仅时间:使用Spark将时间部分转换为时间戳(或从中提取),或将long转换为时间(但不转换为日期时间或时间戳)

2 年前