代码之家 › 专栏 › 技术社区 › Nakeuh

从数组列中新建数据帧列

apache-spark

Nakeuh · 技术社区 · 10 月前

我有这个数据帧:

+---------+
|     data|
+---------+
|[a, b, c]|
|[d, e, f]|
|[g, h, i]|
+---------+

以及列名列表[“第一列”、“第二列”和“第三列”]

我想创建新列以生成以下数据帧:

+-----------+-----------+----------+
|  first col| second col| third col|
+-----------+-----------+----------+
|          a|          b|         c|
|          d|          e|         f|
|          g|          h|         i|
+-----------+-----------+----------+

我在挠头如何做到这一点,实现这一点的正确方法是什么?

1 回复 | 直到 10 月前

Sachin Hosmani 10 月前

未经测试的代码,但想法是只使用 getItem() 访问第i个元素 data 列,在您的情况下是一个列表,并将它们存储在使用创建的新列中 withColumn


df = spark.createDataFrame([(['a', 'b', 'c'],), (['d', 'e', 'f'],), (['g', 'h', 'i'],)], ['data'])
col_names = ['first col', 'second col', 'third col']

for i, name in enumerate(col_names):
    df = df.withColumn(name, col('data').getItem(i))

df = df.drop('data')

推荐文章

user3579222 · 阅读以前的Spark API

4 月前

JFlo · 在PySpark笔记本中读取多个Parquet文件

5 月前

Matthew Thomas · partition覆盖动态和“逻辑”分区

9 月前

Jamal Khan · 如何在Apache Spark中读取500 GB的大文件CSV文件并对其执行聚合?

10 月前

Nakeuh · 从数组列中新建数据帧列

10 月前

maximodesousadias · 如何根据条件删除日期后的记录

10 月前

Ajay S Pal · 当调用函数时传递参数时,PySpark没有在函数内部创建Dataframe

1 年前

SUBHOJEET · 如何使用pyspark读取rds文件?

1 年前

Shankar Panda · 如何从org.apache.spark.sql获取密钥。在scala中键入列并将其放入列表变量中?

1 年前

Aaron Brazier · 连接2个pyspark数据帧并继续运行窗口sum和max

1 年前