Spark dataframe-替换Scala中键/值列表中的所有值

您可以创建这个helper方法,将给定的列和替换映射转换为新的 Column 表达式:

def withReplacements(column: Column, replacements: Map[String, String]): Column = 
  replacements.foldLeft[Column](column) {
    case (col, (from, to)) => regexp_replace(col, from, to)
  }

然后用在你的脸上 street 列与您的 replacements 地图:

val result = df.withColumn("street", withReplacements($"street", replacements))

例如:

df.show()
// +------------+------+
// |      street|number|
// +------------+------+
// | Main STREET|     1|
// |Broadway STR|     2|
// |     1st Ave|     3|
// +------------+------+

result.show()
// +-----------+------+
// |     street|number|
// +-----------+------+
// |    Main ST|     1|
// |Broadway ST|     2|
// |    1st Ave|     3|
// +-----------+------+

注意 "St." 具有 "ST" ,您应该使用 Map("St\\." -> "ST) (转义为dot,否则将被解释为regex的“any”)