python os.walk和日语文件名崩溃[重复]

到目前为止,似乎所有的答案都来自于那些认为Windows控制台类似于Unix终端的Unix用户,而事实并非如此。

问题是,不能使用普通的底层文件I/O函数将Unicode输出写入Windows控制台。Windows API WriteConsole 需要使用。python应该透明地完成这项工作,但事实并非如此。

如果将输出重定向到一个文件,则会有另一个问题:Windows文本文件历史上都在ANSI代码页中,而不是Unicode。现在在Windows中,您可以相当安全地将UTF-8写入文本文件,但默认情况下,Python不会这样做。

我认为它应该做这些事情,但这里有一些代码来实现它。如果不想,您不必担心细节;只需调用consolefile.wrap_standard_handles()。您需要安装pywin才能访问必要的API。

import os, sys, io, win32api, win32console, pywintypes

def change_file_encoding(f, encoding):
    """
    TextIOWrapper is missing a way to change the file encoding, so we have to
    do it by creating a new one.
    """

    errors = f.errors
    line_buffering = f.line_buffering
    # f.newlines is not the same as the newline parameter to TextIOWrapper.
    # newlines = f.newlines

    buf = f.detach()

    # TextIOWrapper defaults newline to \r\n on Windows, even though the underlying
    # file object is already doing that for us.  We need to explicitly say "\n" to
    # make sure we don't output \r\r\n; this is the same as the internal function
    # create_stdio.
    return io.TextIOWrapper(buf, encoding, errors, "\n", line_buffering)


class ConsoleFile:
    class FileNotConsole(Exception): pass

    def __init__(self, handle):
        handle = win32api.GetStdHandle(handle)
        self.screen = win32console.PyConsoleScreenBufferType(handle)
        try:
            self.screen.GetConsoleMode()
        except pywintypes.error as e:
            raise ConsoleFile.FileNotConsole

    def write(self, s):
        self.screen.WriteConsole(s)

    def close(self): pass
    def flush(self): pass
    def isatty(self): return True

    @staticmethod
    def wrap_standard_handles():
        sys.stdout.flush()
        try:
            # There seems to be no binding for _get_osfhandle.
            sys.stdout = ConsoleFile(win32api.STD_OUTPUT_HANDLE)
        except ConsoleFile.FileNotConsole:
            sys.stdout = change_file_encoding(sys.stdout, "utf-8")

        sys.stderr.flush()
        try:
            sys.stderr = ConsoleFile(win32api.STD_ERROR_HANDLE)
        except ConsoleFile.FileNotConsole:
            sys.stderr = change_file_encoding(sys.stderr, "utf-8")

ConsoleFile.wrap_standard_handles()

print("English 漢字 Кири́ллица")

这有点棘手:如果stdout或stderr是控制台,我们需要用writeconsole输出;但是如果它不是(例如foo.py>文件),那就不起作用,我们需要将文件的编码改为utf-8。

在任何一种情况下,都是相反的。不能用write console输出到常规文件(它实际上不是一个字节API,而是一个utf-16;pywin隐藏了这个细节),也不能将utf-8写入Windows控制台。

而且,它确实应该使用get-osfhandle将句柄获取到stdout和stderr,而不是假设它们被分配到标准句柄,但该API似乎没有任何pywin绑定。

对于硬编码字符串,需要 specify the encoding at the top of source files . 对于来自其他源的字节字符串输入-例如 os.walk -,您需要指定字节字符串的编码(参见unutbu的答案)。