代码之家 › 专栏 › 技术社区 › kmario23 Mazdak

从HDF5文件序列化和检索大量numpy数组的快速有效方法

numpy-ndarray h5py hdf5 numpy python

kmario23 Mazdak · 技术社区 · 7 年前

113287 36 x 2048 . 就记忆而言,这相当于 32千兆字节 .

到目前为止,我已经将这些数组序列化为一个巨大的HDF5文件。现在的问题是,从这个hdf5文件中检索单个数组每次访问都需要非常长的时间(以北10分钟)。

我怎样才能加快速度?这对我的实现非常重要,因为我必须索引到这个列表中输入深层神经网络。

下面是我如何索引到hdf5文件:

In [1]: import h5py
In [2]: hf = h5py.File('train_ids.hdf5', 'r')

In [5]: list(hf.keys())[0]
Out[5]: 'img_feats'

In [6]: group_key = list(hf.keys())[0]

In [7]: hf[group_key]
Out[7]: <HDF5 dataset "img_feats": shape (113287, 36, 2048), type "<f4">


# this is where it takes very very long time
In [8]: list(hf[group_key])[-1].shape
Out[8]: (36, 2048)

有什么办法可以加快速度吗?有没有其他方法可以序列化这些数组以加快访问速度?

注意:我使用的是Python列表,因为我希望保留顺序(即按照创建hdf5文件时的顺序进行检索)

2 回复 | 直到 7 年前

kmario23 Mazdak 7 年前

Out[7] ,“imgèu feats”是一个大型3d阵列(113287,362048)形状。

定义 ds

ds = hf[group_key]

x = ds[0]    # should be a (36, 2048) array

arr = ds[:]   # should load the whole dataset into memory.
arr = ds[:n]   # load a subset, slice

h5py-reading-writing-data :