代码之家 › 专栏 › 技术社区 › UserASR

在列中的映射中添加映射

apache-spark-sql apache-spark scala dataframe

UserASR · 技术社区 · 3 年前

在 Metadata 专栏我有 Map 类型值:

+-----------+--------+-----------+--------------------------------+
|       Noun| Pronoun|  Adjective|Metadata                        |
+-----------+--------+-----------+--------------------------------+
|      Homer| Simpson|Engineer   |["Age": "50", "Country": "USA"] | 
|      Elon | Musk   |King       |["Age": "45", "Country": "RSA"] |
|      Bart | Lee    |Cricketer  |["Age": "35", "Country": "AUS"] |
|      Lisa | Jobs   |Daughter   |["Age": "35", "Country": "IND"] |
|      Joe  | Root   |Player     |["Age": "31", "Country": "ENG"] |
+-----------+--------+-----------+--------------------------------+

我想附加另一个 地图 在中键入值 元数据 针对一个名为 tags 。

+-----------+--------+-----------+--------------------------------------------------------------------+
|       Noun| Pronoun|  Adjective|Metadata                                                            |
+-----------+--------+-----------+--------------------------------------------------------------------+
|      Homer| Simpson|Engineer   |["Age": "50", "Country": "USA", "tags": ["Gen": "M", "Fit": "Yes"]] | 
|      Elon | Musk   |King       |["Age": "45", "Country": "RSA", "tags": ["Gen": "M", "Fit": "Yes"]] |
|      Bart | Lee    |Cricketer  |["Age": "35", "Country": "AUS", "tags": ["Gen": "M", "Fit": "No"]]  |
|      Lisa | Jobs   |Daughter   |["Age": "35", "Country": "IND", "tags": ["Gen": "F", "Fit": "Yes"]] |
|      Joe  | Root   |Player     |["Age": "31", "Country": "ENG", "tags": ["Gen": "M", "Fit": "Yes"]] |
+-----------+--------+-----------+--------------------------------------------------------------------+

在 元数据 柱,外部 地图 已经是 typedLit ,不允许在其中添加另一个Map。

0 回复 | 直到 3 年前

marc_s 2 年前

我使用结构实现了它。它看起来是这样的:

df.withColumn("Metadata", struct(lit("Age").alias("Age"), lit("Country").alias("Country"), typedLit(tags).alias("tags")))

它不会完全是键值对,但仍然可以使用别名进行查询。

推荐文章

user3579222 · 阅读以前的Spark API

5 月前

JFlo · 在PySpark笔记本中读取多个Parquet文件

6 月前

Matthew Thomas · partition覆盖动态和“逻辑”分区

10 月前

Jamal Khan · 如何在Apache Spark中读取500 GB的大文件CSV文件并对其执行聚合?

11 月前

Nakeuh · 从数组列中新建数据帧列

11 月前

maximodesousadias · 如何根据条件删除日期后的记录

11 月前

Ajay S Pal · 当调用函数时传递参数时,PySpark没有在函数内部创建Dataframe

1 年前

SUBHOJEET · 如何使用pyspark读取rds文件?

1 年前

Shankar Panda · 如何从org.apache.spark.sql获取密钥。在scala中键入列并将其放入列表变量中?

1 年前

Aaron Brazier · 连接2个pyspark数据帧并继续运行窗口sum和max

1 年前