代码之家 › 专栏 › 技术社区 › Evan Zamir

在没有标头或架构的数据上编写sparksql查询

apache-spark-sql apache-spark

-1

Evan Zamir · 技术社区 · 7 年前

我想编写一个通用脚本,可以在没有头或预定义模式的文件上运行SQL查询。例如,文件可能看起来像:

Bob,32
Alice, 24
Jane,65
Doug,33
Peter,19

SELECT COUNT(DISTINCT ??) 
FROM temp_table
WHERE ?? > 32

?? .

2 回复 | 直到 7 年前

Karthick 7 年前

你可以在阅读时定义“自定义模式”

val schema = StructType(
  StructField("field1", StringType, true) ::
    StructField("field2", IntegerType, true) :: Nil
) 

val df = spark.read.format("csv")
    .option("sep", ",")
    .option("header", "false")
    .schema(schema)
    .load("examples/src/main/resources/people.csv")

此外,您还可以忽略将以默认名称结束的架构部分(不是首选)

 val df = spark.read.format("csv")
     .option("sep", ",")
     .option("header", "false")
     .load("examples/src/main/resources/people.csv")

+-----+-----+
|  _c0|  _c1|
+-----+-----+
|  Bob|  32 |  
|  .. | ... |  
+-----+-----+

这样就可以在sparksql中填充列名。

ryandam 7 年前

默认模式似乎有列名 _c0 _c1 等。

val df = spark.read.format("csv").load("test.txt")

scala> df.printSchema
root
  |-- _c0: string (nullable = true)
  |-- _c1: string (nullable = true)

在Spark 2.0中,

  df.createOrReplaceTempView("temp_table")
  spark.sql("SELECT COUNT(DISTINCT _c1) FROM temp_table WHERE cast(_c1 as int) > 32")

推荐文章

maximodesousadias · 如何根据条件删除日期后的记录

1 年前

Joe Bloggr · 如何将Dataframe类型的函数参数传递给SparkSQL查询

1 年前

Shankar Panda · 如何从org.apache.spark.sql获取密钥。在scala中键入列并将其放入列表变量中?

1 年前

Aaron Brazier · 连接2个pyspark数据帧并继续运行窗口sum和max

1 年前

user23358051 · 火花顺序优化规则

1 年前

Tristpost · 如何从我自己的Java Stream将CSV数据最好地加载到Apache Spark数据帧中?

1 年前

David Cunningham · Pyspark结构化流媒体-来自以前记录的数据

1 年前

Surender Raja · 对case语句的pyspark查询引发错误

2 年前

ConfusedDeveloper · 取消查看SPARK SQL中的列组

2 年前

nfsp412 · 当我使用spark-sql时,将出现此错误

2 年前