python-codec将ascii编码为unicode:错误

除了你问的问题,你还有一些问题。

(1)概念问题:“e-k-b-u-d-z*dhi-m-aan-p-ksii”是 不 “英语”。它是一种印地语,使用某种罗马化方案以ASCII码书写。看起来像iTrans,但iTrans没有AA和A,只有AA和A。这个计划有名字吗?你能提供一个网址吗?您的对象更好地描述为“将一些印地语文本从未命名的罗马化翻译为天成文书(devanagari)脚本”。

(2)显示将文本从印地语翻译成英语的结果(“聪明的老鸟”等)只是中等程度的有用。预计天成文书输出将是一个更好的主意。

(3)如@kaiser.se所述,音译字典有多个字节(最多3个字节!)键,其中一些是其他键的前缀。想必 AA 必须优先考虑 A , gh 之前必须确认 g 等等。对字典中的项进行迭代的顺序是可预测的,但出于您的目的,应该将其视为随机的。在下面的代码中,我优先使用更长的“键”。

(4)要么字典缺少一些字母键(a s t z),要么音译规则比我们迄今所猜测的更复杂。

(5)字符*和-的含义并非100%明显。从输入文本中,Z和*仅以Z的形式组合出现。*

(6)如果你解释了例如 shaakhaay-e-ng …是从一开始吗 sh 然后 aa 还是从一开始 sha 然后 a ?规则是什么?

当然,对于您询问的问题的答案是,正如其他一些人指出的那样,您需要使用显示设备(如UTF-8)支持的编码对Unicode输出进行编码。

下面是一些代码:

#!/usr/bin/python
# -*- coding: UTF-8 -*-

input_data = """
E-k- b-u-d-z*dhi-m-aan- p-ksii#

E-k- ghn-e- j-ngg-l- m-e-ng E-k- b-h-u-t- UUNNc-aa p-e-dr thaa#
[snip]
"t-o- k-z*y-aa h-u-AA"#
"""

roman_devanagari_dict={'A' : u'अ' ,  'AA' : u'आ ' , 'I' : u'इ' , 'II' : u'ई ' , 'U' : u'उ ' ,\
[snip]
            '2' : u'२' , '5' : u'५' , '3' : u'३' , '7' : u'७' , '9' : u'९' , '1' : u'१'}

#Presuming we need to do the 3-letter cases then the 2-letter then the 1-letter
replacements = [(-len(k), unicode(k), v) for k, v in roman_devanagari_dict.items()]
replacements.sort()

data = input_data.decode('ascii')

for _junk, from_text, to_text in replacements:
    data = data.replace(from_text, to_text)

# Presuming the '-' are inter-character markers, delete them last, not first
data = data.replace(u'-', '')
data = data.replace(u'#', '')
print "untransliterated:", set(c for c in data if 0x20 < ord(c) < 0x7f)

BOM = u'\ufeff'
outf = open('devanagari.txt', 'w')
outf.write(BOM.encode('utf8')) # for the benefit of clueless Windows s/w
outf.write(data.encode('utf8'))
outf.close()

输出:

_

_ 224; 224; 224; \ 224; \224; \224; 224; A _ _ _ _ _ tz T__ _ Z_ 224; 224; 224; \ \ 224__ ___________________ _·_·_·_·_·_·_·_·_·_·_·_·_·_·_·_·_·_·_·_·_·T_·_·A वे सब यहैँ सुरक्षिt ते ौर बडे आ रैम से रहtे ते ____________________ _¨_¨_¨_¨_¨_¨A _______ धिमैन पक्षी ने एक दिन पेड की जड मेनग से एक लtै को उ गtे देखै इस के बैरे मेनग उ सने दूसरे पक्षियोनग से बैt की “_ Z _ _ t_ z हेनग वह लtै दिखैई देtी हेि", उ स ने उ न से पूछै "tुमz _____________垎 _ _ _ _ _ _ _ _ _ _” “_ _ _ _ Z ____ _¨s_垎 _ _ _ _ _ _ _ _ _ _??______________ 阿尔法 _ 224; 224; 224;? _____224;_224;_______ _________________ “_?_?_?_?_?_?_?_?_?_?_?_?_?_?_?_?_?_?_?_?Z _¨_¨_¨_¨_¨_¨_¨_¨_¨_¨_¨_¨_¨_ tz T________________ _______________ _______ ________ _ 224; 224; 224; 224; \224; 224; Z_ T_ _ _ _ _” “T Z “舒适”

在谷歌翻译的过程中,只有几个可识别的词。

更新 仔细检查音译表后:

• 其中三个条目(a a、ii和u)在天成文书(梵文)之后有一个空格。也许这些空间应该被移除。

• 辅音的一般模式是:

天成文书(梵文)字母Xa由x表示
天成文书(梵文)字母XXa由x表示
天成文书(梵文)字母Xha由Xh表示
天成文书(梵文)字母XXha由xh表示

但是有3个条目破坏了模式:
SSA->sha,但模式显示
但是模式上说
但是模式说

注意:更改上面的3个条目使我的代码不再抱怨在翻译示例文本时s和t保持不变,并删除了看起来异常的sha和tha条目。

• 条目(d和dr)映射到同一个字符,天成文书(梵文)字母dda。d是该字符的预期条目;也许应该将dr映射到其他地方。

• 天成文书(梵文)字母Nga(U+0919)没有条目;也许它应该编码为ng——在示例文本中有几个单词以ng结尾。

• 示例文本中出现的“z*”未加引号是否与天成文书(梵文)字母Za(U+095b)有关?

f1.写入(“.”join(list1))

list1 此时,包含Unicode字符串。不能将Unicode直接写入文件,它是一个字节接口。你要么显式编码它 (' '.join(list1).encode('utf-8')) 或者,正如伊格纳西奥建议的,使用 codecs 包装器隐式编码发送给它的Unicode字符串。现在您正在定义一个变量 CODEC 但不做任何事情。

确实要删除所有连字符(-)吗?查看您的输入文件,看起来所有替换的内容都是两个或三个字符的代码,例如u'i-':u''。如果是这样,您可以执行如下操作,但请确保对字典中的所有键和值使用Unicode字符串:

import codecs

# read the whole file at once
f = codecs.open(input_file,'r','ascii')
data = f.read()
f.close()

# perform all the replacements
for k,v in english_hindi_dict.items():
    data = data.replace(k,v)

# write the whole file result
f = codecs.open(output_file,'w',CODEC)
f.write(data)
f.close()

根据这个理论,我得到了下面的结果,它看起来像是字典中缺少了“z*”、“t-”、“ng”和“ei”等翻译。我不读印地语,但谷歌翻译公司在你的翻译中发现了一些英文单词,所以我认为我走对了。

-z*धिमैन पक्षी

एक घने जngगल मेng एक बहुt- ऊँचै पेड तै
उस की पt-z*t-ोng से लदी शैखैयेng मज*zबूt- बैजुओng की t-रह फeiली हुई तीng
वन हँसोng कै एक झुnhz*ड इस पेड पर निवैस करt-ै तै
वे सब यहैँ सुरक्षिt- ते ौर बडे आरैम से रहt-े ते
उन मेng से एक पक्षी बहुt- बुदz*धिमैन तै
इस बुदz*धिमैन पक्षी ने एक दिन पेड की जड मेng से एक लt-ै को उगt-े देखै 
इस के बैरे मेng उसने दूसरे पक्षियोng से बैt- की
"कz*यै t-ुमz*हेng वह लt-ै दिखैई देt-ी हei", उस ने उन से पूछै "t-ुमz*हेng इसे नShz*ट कर देनै चैहिए"
"इसे कz*योng नShz*ट कर देनै चैहिए?" हँसोng ने आशz*च*rय से पूछै "यह t-ो इt-नी छोटी से हei
हमेng यह कz*यै हैनि पहुँचै सकt-ी हei"
"मेरे मित्रोng," बुदz*धिमैन पक्षी ने उt-z*t-र दियै "वह छोटी सी लt-ै जलz*दी ही बडी हो जैयेगी
यह हमैरे पेड पर चढ*z कर उस से लिपटt-ी जैयेगी ौर फिर मोटी ौर मज*zबूt- हो जैयेगी"
"t-ो कz*यै हुआ"