如何使用perl将一堆文件从iso-8859-1转换为utf-8?

如果包含字符“”,则编码肯定不是ISO-8859-1(“Latin 1”),而是可能是CP1252(“Win Latin 1”)。处理utf8、iso-8859-1和cp1252的混合(甚至可能在同一个文件中)正是 Encoding::FixLatin Perl模块是为。

可以通过运行以下命令从cpan安装模块:

perl -MCPAN -e "install 'Encoding::FixLatin'"

然后,您可以编写一个使用encoding::fixlatin模块的简短Perl脚本,但有一种更简单的方法。模块附带一个名为 fix_latin 它在标准输入端采用混合编码,在标准输出端写入utf8。所以可以使用这样的命令行来转换一个文件:

fix_latin <input-file.txt >output-file.txt

如果您运行的是windows,那么fix_latin命令可能不在您的路径中,也可能没有通过pl2bat运行,在这种情况下,您需要执行以下操作:

perl C:\perl\bin\fix_latin.pl <input-file.txt >output-file.txt

确切的路径和文件名需要根据您的系统进行调整。

运行 固定拉丁语 在Linux系统上,跨越一大堆文件是很简单的,但在Windows上,您可能需要使用Powershell或类似的工具。

我不确定这是否是对你特定问题的有效答案,但你看过 GNU iconv tool ?这是相当普遍的。

如果您有权访问cygwin,或者能够下载一些常用的*nix工具(您需要bash、grep、iconv和file,所有这些工具都可以通过 gnuwin32 ,您可能可以编写一个相当简单的shell脚本来完成这项工作。

剧本会 大约 如下所示:

for f in *;
do
   if file $f | grep 'ISO-8859' > /dev/null;
   then
      cat $f | iconv -f iso-8859-1 -t utf-8 > $f.converted;
   else
      echo "Not converting $f"
   fi;
done;

不过,您需要测试这些步骤,例如,我不确定“file”对iso-8859文档究竟说什么。