代码之家  ›  专栏  ›  技术社区  ›  Georg Heiler

Spark SQL scala DSL子查询支持

  •  0
  • Georg Heiler  · 技术社区  · 7 年前

    Does SparkSQL support subquery? 列出当前没有Spark 2.0的子查询支持。

    这最近有变化吗?

    1 回复  |  直到 7 年前
        1
  •  1
  •   Ged    7 年前

     SELECT A.dep_id,
            A.employee_id,
            A.age,
           (SELECT  MAX(age) 
              FROM employee B 
             WHERE A.dep_id = B.dep_id) max_age
     FROM     employee A
     ORDER BY 1,2
    

    sql("SELECT COUNT(*) FROM src").show()
    val sqlDF = sql("SELECT key, value FROM src WHERE key < 10 ORDER BY key") 
    val stringsDS = sqlDF.map {case Row(key: Int, value: String) => s"Key: $key, Value: $value"}
    stringsDS.show()