代码之家 › 专栏 › 技术社区 › Ahmad Senousi

将时间划分为每30分钟一个周期

pyspark-sql time apache-spark datetime

-1

Ahmad Senousi · 技术社区 · 8 年前

我有一个Dataframe包含“time”列,我想在每30分钟将时间划分为时段后添加一个包含时段号的新列例如原始数据帧

l = [('A','2017-01-13 00:30:00'),('A','2017-01-13 00:00:01'),('E','2017-01-13 14:00:00'),('E','2017-01-13 12:08:15')]
df = spark.createDataFrame(l,['test','time'])
df1 = df.select(df.test,df.time.cast('timestamp'))
df1.show()
+----+-------------------+
|test|               time|
+----+-------------------+
|   A|2017-01-13 00:30:00|
|   A|2017-01-13 00:00:01|
|   E|2017-01-13 14:00:00|
|   E|2017-01-13 12:08:15|
+----+-------------------+

所需的数据帧如下:

+----+-------------------+------+
|test|               time|period|
+----+-------------------+------+
|   A|2017-01-13 00:30:00|     2|
|   A|2017-01-13 00:00:01|     1|
|   E|2017-01-13 14:00:00|    29|
|   E|2017-01-13 12:08:15|    25|
+----+-------------------+------+

有没有办法做到这一点?

1 回复 | 直到 8 年前

Ramesh Maharjan 8 年前

您可以简单地利用 hour 和 minute 内置函数 s以获得最终结果 when 内置函数 像

from pyspark.sql import functions as F
df1.withColumn('period', (F.hour(df1['time'])*2)+1+(F.when(F.minute(df1['time']) >= 30, 1).otherwise(0))).show(truncate=False)

你应该

+----+---------------------+------+
|test|time                 |period|
+----+---------------------+------+
|A   |2017-01-13 00:30:00.0|2     |
|A   |2017-01-13 00:00:01.0|1     |
|E   |2017-01-13 14:00:00.0|29    |
|E   |2017-01-13 12:08:15.0|25    |
+----+---------------------+------+

我希望答案有帮助

推荐文章

user2082616 · 移动应用程序上的设备时间与服务器时间-最佳做法是什么

8 年前

RoRo88 · 无法使用“HH:mm E d MMM YYYY”模式分析DateTimeFormatter

8 年前

Maciej JaÅocha · 如何在java中生成在特定时间启动其他函数的函数[关闭]

8 年前

Anton Konikov · 转换为单一时区的日期[重复]

8 年前

MrEmper · Java-自动生成当前日期+用户输入时间

8 年前

R A · 尝试为我的HTML游戏创建最快时间的高分

8 年前

Chintan7027 · MYSQL以数字时间格式计算日期差

8 年前

user3725021 · 将字符数据帧列转换为分数时间

8 年前

Ramesh S · 如何按时间禁用当前日期?

8 年前

Faisal Alzahrani · 用Java计算程序的Big-O

8 年前