如何干净地处理/忽略(Unicode?)awk中无法打印的二进制字符

正如评论中所说,这就是BOM。我在awk中使用这个来移除它:

NR==1 {sub(/^\xef\xbb\xbf/,"")}

gsub(/[^\x00-\x7F]/,"") 过滤掉任何非ASCII字符?例如:

$ awk 'BEGIN{printf "foo \xef\xbb\xbf bar\n"}' | cat -v
foo M-oM-;M-? bar

$ awk 'BEGIN{printf "foo \xef\xbb\xbf bar\n"}' | od -ax
0000000   f   o   o  sp   o   ;   ?  sp   b   a   r  nl
           6f66    206f    bbef    20bf    6162    0a72
0000014

$ awk 'BEGIN{printf "foo \xef\xbb\xbf bar\n"}' | awk '{gsub(/[^\x00-\x7F]/,"")}1' | cat -v
foo  bar

$ awk 'BEGIN{printf "foo \xef\xbb\xbf bar\n"}' | awk '{gsub(/[^\x00-\x7F]/,"")}1' | od -ax
0000000   f   o   o  sp  sp   b   a   r  nl
           6f66    206f    6220    7261    000a
0000011

[\x00-\x7F] [[:ascii:]] 其他一些工具显然支持。