代码之家 › 专栏 › 技术社区 › user1554752

在python 3中使用io.bufferedreader快速读取gzip(文本文件)

bufferedreader gzip python-3.x python

user1554752 · 技术社区 · 6 年前

我正在尝试使用gzip模块高效地读取和解析压缩文本文件。这个 link 建议将gzip文件对象包装为 io.BufferedReader ,像这样:

import gzip, io
gz = gzip.open(in_path, 'rb')
f = io.BufferedReader(gz)
     for line in f.readlines():
         # do stuff
gz.close()

我想用python 3做这个 gzip 必须用调用 mode='rb' . 结果是 line 是二进制字符串。然而,我需要 线 为文本/ASCII字符串。是否有更有效的方法将文件作为文本字符串读取 BufferedReader 或者我必须解码 线 在for循环中?

1 回复 | 直到 6 年前

blhsing 6 年前

你可以使用 io.TextIOWrapper 要将二进制流无缝包装到文本流,请执行以下操作:

f = io.TextIOWrapper(gz)

或者正如@shadowranger指出的那样,您只需以文本模式打开gzip文件,这样 gzip 模块将应用 IO.TEXTIO包装器 包装:

for line in gzip.open(in_path, 'rt'):
    # do stuff

推荐文章

Ebillson GRAND JEAN · 读者BufferedReader的readLine()导致以下情况:线程“main”java中出现异常。io。IOException:流已关闭

3 年前

Dark 98 · ReadLine(缓冲读取器)不在循环中工作

3 年前

blockByblock · Java Move nextLine with方法

7 年前

Nuñito Calzada · 在UTF-8中打开BufferedReader

7 年前

Rusty Shackleford · 让BufferedReader流保持打开状态是否有任何性能好处?

7 年前

Ahmad tamer · 如何从JAVA文件中读取这些数据

7 年前

FatehAK · Java Swing从文件到JtextArea的只读唯一行

7 年前

Charlotte K · 为什么BufferedReader read()会拾取额外字符

8 年前

Zeca Novaes · bufferedReader仅读取本地csv文件

8 年前

Deetz · 如何从Java的BufferedReader中读取C脚本中的行?

8 年前