拼花文件-具有可变频率的时间序列

拼花地板本身不给数据加时间戳,您需要自己做这件事,添加一个额外的字段,您将在其中存储每个读数的时间戳。如果您知道读取每个参数的频率,那么在将数据插入文件之前将其转换为时间戳就很简单了。

您将遇到的下一个问题是,参数不会同时准确读取,因此您必须在需要对数据进行的任何计算中考虑到这一点。在这一点上,您有许多不同的选择,这取决于您的需求和数据的性质,我只提一个。对于连续变量,可以对数据重新采样,以便每个参数的时间戳都相同。可以通过在实际时间戳处插入读数来计算目标时间戳处的读数。此时有许多数学方面的考虑,但它们超出了您的问题范围和存储格式的相关性。

简言之 1、是的 2、否

我建议将数据保存在每个频率的不同文件中,如果差异大于5,则表示一个是5Hz,另一个是10Hz。 另一种方法是用null填充空白,这样数据就会像这样

schema = types.StructType([
  types.StructField("timespeed", types.LongType(), False),
  types.StructField("speed", types.LongType(), True),
  types.StructField("tempature", types.LongType(), True)
])

data = [
  (1, 6, 10),
  (2, 7, None),
  (3, None, None),
  (4, 8, 11),
  (5, 9, None)
]

df_w_schema = sqlContext.createDataFrame(data, schema)
df_w_schema.collect()
df_w_schema.write.parquet('nullable_check_w_schema')

df_parquet_w_schema =  sqlContext.read.schema(schema).parquet('nullable_check_w_schema')
df_parquet_w_schema.printSchema()