将大型字典存储到Python中的文件

看看我对一个非常相关问题的回答 https://stackoverflow.com/a/25244747/2379433 ,如果您可以酸洗到多个文件而不是单个文件。

另请参见: https://stackoverflow.com/a/21948720/2379433 其他潜在的改进,这里也是: https://stackoverflow.com/a/24471659/2379433 .

如果您正在使用 numpy 阵列,它可以非常有效,因为两者 klepto 和 joblib 了解如何对 array 。如果您确实将数组的大部分元素作为零,那么无论如何,转换为稀疏矩阵。。。并且您会发现阵列的存储容量大大节省。

正如上面的链接所讨论的,您可以使用 盗窃犯 --它为您提供了使用通用API将字典轻松存储到磁盘或数据库的能力。 盗窃犯 还允许您选择存储格式( pickle , json 等等)--其中 HDF5 即将到来。它可以使用两种特殊的泡菜格式(如 numpy的复数 的)和压缩(如果您关心大小而不是速度)。

盗窃犯 您可以选择使用“一体式”文件或“每个文件一个条目”来存储字典,还可以利用多处理或多线程——这意味着您可以并行地将字典项保存到后端或从后端加载字典项。

60000个维度是指60000个元素吗?如果是这种情况,并且数字是1..10,那么一个合理紧凑但仍然有效的方法是使用Python字典 array.array 每个元素1字节的对象(类型 'B' ).

内存大小应为60000个条目x 60000字节,总计3.35Gb数据。

该数据结构的大小也与磁盘大小相同。