如何围绕SAX解析器包装适当的生成器函数

“我有35.5MB.XLSM文件。当扩展实际的可用内容时,它会淹没DOM解析器,如元素树,在长时间运行之后耗尽内存。

我不明白。你应该使用的东西:

import xml.etree.cElementTree as ET

ET.iterparse(sourcefile) # sourcefile being a cStringIO.StringIO instance holding your worksheet XML document

element.clear() # leave only scorched earth behind you

This article 显示如何使用 iterparse 和 clear .

示例:将一个XLSX(100MB,其中大多数是两个工作表,每个工作表有大约16K行和大约200列)加载到XLRD对象模型中:

运行windows xp和python 2.7的时间大约是4分钟。增量内存使用在大约300MB的内存上达到最大,其中大部分是输出,而不是元素树。

好像你可以用 IncrementalParser 接口?类似:

def gen_rows_from_xlsx(someFile):
    buf = collections.deque()
    myHandler = HandlerForXLSX(buf)
    p = xml.sax.make_parser()
    p.setContentHandler(myHandler)
    with open(someFile) as f:
        while True:
            d = f.read(BLOCKSIZE)
            if not d: break
            p.feed(d)
            while buf: yield buf.popleft()
    p.close()

这样做 parse ,你必须 yield 跨多个堆栈帧,这是Python所不支持的。