np.load失败,返回ValueError:无法将大小为(838715,)的数组重塑为形状(838710,)

我自己也有同样的问题,当谈到错误的清晰度时,np.load有时很有趣。在我的情况下,这是因为文件损坏/进程在写入文件时中断。

简短的回答是:

尝试有一个备份文件或类似的文件:一个输入文件和一个输出文件。写入输出文件后,用其内容覆盖输入文件——可能每5步左右执行一次。

remaining_paths = np.load('remaining_files.npy', allow_pickle=True)
list_of_paths = remaining_paths
ctr = 0
steps_to_save = 5 
for path in list_of_paths:
    data = np.load(path,allow_pickle=True)
    scaler.partial_fit(data)
    remaining_paths.remove(path)
    np.save(scaler.max_abs_,'max_abs.npy',allow_pickle=True)
    remaining_paths.remove(path)
    np.save(remaining_paths ,'remaining_files_out.npy',allow_pickle=True)
    if i % steps_to_save == 0: 
            shutil.copyfile('remaining_files_out.npy','remaining_files_in.npy')
    ctr+=1  

你可以参考 shutil documentation 或 this answer 关于不同类型的文件复制/移动/覆盖选项。

答案很长:

如果你深入挖掘np.load的代码,它将尝试将输入数组重塑为 .npy 文件。

如果你想要一个hotfix -这可能有效,也可能无效,具体取决于文件编写器停止的位置:使用十六进制编辑器 like this 并用错误中的其他值更改文件中的任何值。在我的例子中,它是839915到839910,如图所示:

同样,只有当你足够幸运,文件的其余部分写得正确,只有形状有误时,这才有效,但我不建议这样做——谁知道数据会以什么其他方式损坏,但仍然可读?

请参阅npy格式文档,了解npy文件如何构建/结构化的更多详细信息。 https://numpy.org/devdocs/reference/generated/numpy.lib.format.html