代码之家 › 专栏 › 技术社区 › Yogita Aher

如何使用pyspark在下面的代码中传递数组(多列)

multiple-columns special-characters pyspark replace

Yogita Aher · 技术社区 · 7 年前

如何使用以下命令在pyspark中传递数组列表(多列)而不是单列:

new_df = new_df.filter(new_df.color.isin(*filter_list) == False)

例如:-

filter_list = ['##', '$']

new_df = new_df.filter(new_df.color.isin(*filter_list) == False)

在本例中,“颜色”是列。

但是我想把垃圾(#,##,$,$$$)值与多个发生数一起移除到多个列中。

样本输入:-

id       name       Salary

#        Yogita     3000

2        Bhavana    5000

$$       ###        7000

%$4#     Neha       $$$$

样本输出:-

 id         name       salary

 2        Bhavana      5000

谁来帮帮我,

提前感谢,

酸奶

1 回复 | 直到 7 年前

ags29 7 年前

以下是使用用户定义函数的答案:

from pyspark.sql.types import *
from itertools import chain

filter_list = ['#','##', '$', '$$$']
def filterfn(*x):
    booleans=list(chain(*[[filter not in elt for filter in filter_list] for elt in x]))
    return(reduce(lambda x,y: x and y, booleans, True))

filter_udf=f.udf(filterfn, BooleanType())
new_df.filter(filter_udf(*[col for col in new_df.columns])).show(10)

推荐文章

Lee · 当有这么多列时,使用R更改列的特定值

2 年前

D_K · R获取新表

2 年前

Duerna · 将3列一组的多列表格重塑为3列表格[重复]

7 年前

Monica Olvera · 如何按非字母顺序排列pandas数据框中的列,并合并matplotlib表的单元格?

7 年前

TylerNG · 在python中连接/组合类似列

7 年前

Yogita Aher · 如何使用pyspark在下面的代码中传递数组(多列)

7 年前

frank · 如何基于sas中的特定列合并2个表

7 年前

bapors · 比较不同文件的多列,如果存在匹配项,则从文件中追加一列

7 年前

beta · 获取pandas数据帧的唯一列对

7 年前

Satrya Cahya · 如何通过一次保存创建多个foreach?

7 年前