代码之家  ›  专栏  ›  技术社区  ›  Enrique Benito Casado

使用Spark.sql插入TempView

  •  2
  • Enrique Benito Casado  · 技术社区  · 7 年前

      from pyspark.sql import SparkSession
      spark = SparkSession.builder.appName('Basics').getOrCreate()
      df=spark.read.json(/path/.'/people.json')
    
      df.sow()
    
      +-----+---------+   
      |age  | name    |
      +-----+---------+
      |null | Michael |
      | 30  | And     |
      +-----+---------+    
    
     df.CreateOrReplaceTempView('people') # create temp table
    
     spark.sql("SELECT * FROM people where age == 30")
    
      +-----+---------+   
      |age  | name    |
      +-----+---------+
      | 30  | Andy    |
      +-----+---------+ 
    

    所以我理解SQL,但我不知道该插入谁。

    1 回复  |  直到 7 年前
        1
  •  1
  •   Danny Varod    7 年前

    您需要创建一个新的dataframe,它是原始dataframe和您添加到其中的新数据之间的并集。