|
|
1
1
不,这是不可能的,因为拼花图文件只有一个模式。它们通常不会显示为单个文件,而是显示为目录中的多个文件,所有文件都是相同的模式。这使工具能够像读取一个文件一样读取这些文件,要么完全读取到本地RAM中,分布在多个节点上,要么对它们评估一个(SQL)查询。 拼花地板还可以有效地存储这些数据帧,即使对于这个小尺寸,因此它应该是适合您的用例的序列化格式。与HDF5不同,拼花地板只是表格式数据的序列化。正如您的问题中所提到的,HDF5还支持文件系统,如key vale access。由于您有大量的文件,这对于底层的文件系统可能是有问题的,所以您应该寻找这个层的替换。可能的方法是首先将数据帧序列化为内存中的拼花,然后将其存储在键值容器中,这可以是一个简单的Zip存档,也可以是一个真正的键值存储,如LevelDB。 |
|
|
guilhermecgs · 拼花文件-具有可变频率的时间序列 8 年前 |
|
|
Jay · 对Pyarrows的HdfsClient使用多处理 8 年前 |
|
|
Mark Rajcok · 如何在构建拼花cpp时静态链接箭头? 8 年前 |
|
|
Rijo Joseph · Spark读取拼花文件的问题 8 年前 |
|
|
Martin Studer · 从拼花文件读取/写入pyarrow张量 8 年前 |
|
|
M80 · 通过为包含JSON的列定义模式来创建配置单元表的视图 8 年前 |