用python更快的方法将固定长度的字段从一个文件读取到字典中

如果你想加快速度,你也可以储存 field_start+field_length 直接在self.field_列表中,而不是存储 field_length .

也, if field_data != '' 可以简单地写为 if field_data (如果这会使速度加快,那么它是边缘的)。

我想说,与标准的Python相比,您的方法非常快(即,不使用非标准的专用模块)。

struct.unpack() 结合 s 具有长度的说明符将比切片更快地拆分字符串。

编辑 :刚刚看到你关于逗号的评论。下面的方法在读取文件时速度很快,但它是基于分隔符的,在您的情况下会失败。不过,它在其他情况下也很有用。

如果你真的想快速读取文件,你可以使用一个专用的模块,比如几乎标准的 Numpy :

data = numpy.loadtxt('file_name.txt', dtype=('S10', 'S8'), delimiter=',')   # dtype must be adapted to your column sizes

loadtxt() 还允许您动态处理字段(使用 converters 争论)。numpy还允许为列命名(请参见 doc ,这样您就可以:

data['name'][42]  # Name # 42

获得的结构类似于Excel数组;与字典相比,它具有相当高的内存效率。

如果您真的需要使用字典,可以在 data 数组以numpy的方式快速读取,其方式与您所做的类似。

如果行中包含逗号(如示例所示),则可以使用line.split(“,”)而不是多个切片。这可能会更快。

您将要使用 csv 模块。

它不仅处理csv,而且处理任何类似csv的格式。