代码之家 › 专栏 › 技术社区 › Will

如何在pyspark中访问模式的元数据?

pyspark apache-spark

Will · 技术社区 · 6 年前

from pyspark.sql.types import StructField, StructType, IntegerType, StringType

schema = StructType([
    StructField(name='a_field', dataType=IntegerType(), nullable=False, metadata={'a': 'b'}),
    StructField(name='b_field', dataType=StringType(), nullable=True, metadata={'c': 'd'})
])

1 回复 | 直到 6 年前

Will 6 年前

您可以通过以下方式查看架构结构:

>>>schema.json()
'{"fields":[{"metadata":{"a":"b"},"name":"a_field","nullable":false,"type":"integer"},
            {"metadata":{"c":"d"},"name":"b_field","nullable":true,"type":"string"}],
  "type":"struct"}'

要访问元数据,只需遍历字段并访问元数据(dict)

>>>schema.fields[0].metadata['a']
'b'

>>> schema.fields[1].metadata['c']
'd'

推荐文章

user3579222 · 阅读以前的Spark API

4 月前

JFlo · 在PySpark笔记本中读取多个Parquet文件

5 月前

Matthew Thomas · partition覆盖动态和“逻辑”分区

9 月前

Jamal Khan · 如何在Apache Spark中读取500 GB的大文件CSV文件并对其执行聚合?

10 月前

Nakeuh · 从数组列中新建数据帧列

10 月前

maximodesousadias · 如何根据条件删除日期后的记录

10 月前

Ajay S Pal · 当调用函数时传递参数时,PySpark没有在函数内部创建Dataframe

1 年前

SUBHOJEET · 如何使用pyspark读取rds文件?

1 年前

Shankar Panda · 如何从org.apache.spark.sql获取密钥。在scala中键入列并将其放入列表变量中?

1 年前

Aaron Brazier · 连接2个pyspark数据帧并继续运行窗口sum和max

1 年前