代码之家 › 专栏 › 技术社区 › Go Erlangen

PySpark UDF返回大小可变的元组

user-defined-functions apache-spark-sql pyspark apache-spark python

Go Erlangen · 技术社区 · 8 年前

我获取一个现有的数据帧,并创建一个包含元组的字段的新数据帧。自定义项用于生成此字段。例如,在这里,我获取一个源元组并修改其元素以生成一个新元组:

udf( lambda x: tuple([2*e for e in x], ...)

所面临的挑战是元组的长度事先未知,并且可以在行与行之间更改。

根据我对阅读相关讨论的理解,要返回元组,UDF的返回类型必须声明为StructType。然而,由于返回的元组中的元素数量未知,我不能只编写如下内容:

StructType([
    StructField("w1", IntegerType(), False),
    StructField("w2", IntegerType(), False),
    StructField("w3", IntegerType(), False)])

似乎可以返回列表,但列表对我不起作用,因为我需要在输出数据帧中使用哈希对象。

我的选择是什么?

提前感谢

2 回复 | 直到 7 年前

zero323 little_kid_pea 7 年前

StructType / Row 表示固定大小 product type 对象,不能用于表示可变大小的对象。

要表示同构集合,请使用 list 作为外部类型,以及 ArrayType 作为SQL类型:

udf(lambda x: [2*e for e in x], ArrayType(IntegerType()))

或(Spark 2.2或更高版本):

udf(lambda x: [2*e for e in x], "array<integer>")

在Spark 2.4或更高版本中,您可以使用 transform

from pyspark.sql.functions import expr

expr("tranform(input_column, x -> 2 * x)")

Aus_10 7 年前

每次一行的新语法per-Databricks(Spark)(语法更符合Pandas UDF,这似乎是python中UDF的发展方向 https://databricks.com/blog/2017/10/30/introducing-vectorized-udfs-for-pyspark.html ):

一次一行:

@udf(ArrayType(IntegerType()))
def new_tuple(x):
    return [2*e for e in x]

推荐文章

Google User · Django管理员在`list_display中未显示`creation_date`字段`

1 年前

user29747013 · 如何创建一个新的数据框架,其中包含原始数据框架中列的聚合列?

1 年前

ÎÎÎ½Î· ÎÎ®Î¹Î½Î¿Ï · Python lxml.html语法错误:使用lxml find时XPATH的谓词无效

1 年前

user29715306 · from_users=和chats=电视节目中的差异

1 年前

Redshoe · 当执行numpy.genfromtxt()时,python是否会读取文件的所有行?

1 年前

RASEL MAHMUD · 为什么以及如何在is_even()函数内的IF条件中递归X变量在满足0后递增?[副本]

1 年前

prayner · 更新嵌套字典包含列表中的项

1 年前

Bringo Jr · 我可以在O(n)中解决这个问题吗?

1 年前

Dave · 如何在for循环中修改列表值

1 年前

Shukurullox Komiljonov · 从记录中获得相互和解。使用SQL

1 年前