代码之家 › 专栏 › 技术社区 › Explorer

在Scala中创建没有Spark的拼花文件

parquet scala

3

Explorer · 技术社区 · 7 年前

this 但是我看到 ParquetWriter API已被弃用,解决方案实际上并没有提供一个可遵循的示例。我也读了一些其他的帖子,但没有找到任何描述性的解释。

ParquetFileWriter 但是缺少文档使得我很难使用它。有人能提供它的例子和所有的构造函数参数,以及如何创建这些参数,特别是模式吗?

1 回复 | 直到 7 年前

1

2

stefanobaghino 7 年前

你可以尝试使用 Eel ,一个在Hadoop生态系统中操作数据的工具箱。

我建议你读这本书 README 为了更好地理解库,同时让您了解库是如何工作的,您尝试执行的操作如下所示:

val source = JsonSource(() => new FileInputStream("input.json"))
val sink = ParquetSink(new Path("output.parquet"))
source.toDataStream().to(sink)