代码之家 › 专栏 › 技术社区 › default_settings

如何基于值pyspark创建带区列

pyspark python

default_settings · 技术社区 · 6 年前

我是PySpark的新手,我有以下任务要做。我试过几次接近,但都没能正常工作。数据如下:

id|numb_of_count|
1|3|
2|5|
3|6|
4|2|
5|0|
6|15|
7|8|
8|99|

我希望达到以下结果:

id|numb_of_count|banding|
1|3|3-5|
2|5|3-5| 
3|6|6-10|
4|2|2|
5|0|0|
6|15|+11|
7|8|6-10|
8|99|+11|

由于我有一个大的数据集,如何以最有效的方式实现这一点?

1 回复 | 直到 6 年前

Rahul Chawla cbiqih 6 年前

在pyspark中,当/否则等同于if/else。如果 df 那么,您的实际数据帧是:

new_df = df.withColumn('banding', when(col('numb_of_count') <3,col('numb_of_count')).when(col('numb_of_count') <=5 , '3-5').when(col('numb_of_count') <= 10, '6-10').otherwise('+11'))

df.带柱

df.withColumn 将新列添加到框架中,第一个参数作为新列的名称。更多信息 here

何时/以其他方式

类似于if/else,更多信息 here

这是一个很好的 answer 了解更多时间/其他方面的信息。

推荐文章

July · 如何定义数字间隔,然后四舍五入

1 年前

Community wiki · 对象名称前的单下划线和双下划线的含义是什么?

1 年前

Brian Johnson · 为什么在Python中列出字典列表会引发TypeError?[已关闭]

1 年前

user026 · 如何根据特定窗口的平均值(行数)创建新列?

1 年前

Ashok Shrestha · 需要追踪特定的颜色线并获取坐标

1 年前

Nicote Ool · 在FastApi和Vue3中获得422

1 年前

NeoExceptCodeBad · 如果我有很多垂直线,我如何找到它们的边缘?

1 年前

Abdulaziz · 如何对集合内的列表进行排序[重复]

1 年前

user2743931 · 带有src目录的Python setup.py

1 年前

asmgx · 为什么合并数据帧不能按照python中的预期方式工作

1 年前