代码之家 › 专栏 › 技术社区 › Data_101

使用PySpark删除和替换字符

databricks apache-spark-sql pyspark

-2

Data_101 · 技术社区 · 6 年前

我有一个数据框,希望删除所有括号并替换为两个连字符。

之前:

+------------+
|  dob_concat|
+------------+
|[1983][6][3]|
+------------+

之后:

+------------+
| dob_concat |
+------------+
| 1983-6-3   |
+------------+

1 回复 | 直到 5 年前

Ramesh Maharjan 6 年前

您可以使用 regex_replace 内置功能如下。

from pyspark.sql import functions as F
df.withColumn("dob_concat", F.regexp_replace(F.regexp_replace(F.regexp_replace("dob_concat", "\\]\\[", "-"), "\\[", ""), "\\]", "")).show()

推荐文章

Leonard · Pyspark:JSON到Pyspark数据帧

1 年前

Fran Arenas · Pyspark collect()方法在Pycharm或控制台中执行测试时给出了不同的顺序

1 年前

titutubs · 有没有一种更有效的方法来为Databricks SQL中的bin值编写代码?

1 年前

markwatson · AWS Glue:如何在输出中添加具有源文件名的列?

6 年前

juamd · 顺序(k,<元组>)RDD

6 年前

Gaurav Gupta · 如何加载多行记录的CSV文件?

6 年前

Jared · 如何在本地模式下运行的pyspark中读取S3?

6 年前

ka_boom · 在pyspark中链接多个groupBy

6 年前

ds_user · 在apache spark中复制记录计数

6 年前

ds_user · 结合类型和子类型的Apache Spark组

6 年前