使用awk解析csv并忽略字段中的逗号

你得到的额外输出 csv.awk 来自演示代码。它的目的是使用脚本中的函数进行解析,然后根据需要输出它。

结束时 csv.awk文件 是 { ... } 演示其中一个函数的循环。是那个代码输出了 -> 2| .

大多数情况下,只需调用解析函数并执行 print csv[1], csv[2] .

代码的那一部分看起来像:

{
    num_fields = parse_csv($0, csv, ",", "\"", "\"", "\\n", 1);
    if (num_fields < 0) {
        printf "ERROR: %s (%d) -> %s\n", csverr, num_fields, $0;
    } else {
#        printf "%s -> ", $0;
#        printf "%s", num_fields;
#        for (i = 0;i < num_fields;i++) {
#            printf "|%s", csv[i];
#        }
#        printf "|\n";
        print csv[1], csv[2]
    }
}

另存为 your_script (例如)。

做 chmod +x your_script .

以及 cat 是不必要的。而且,你可以 sort -u 而不是 sort | uniq .

然后,您的命令将如下所示:

./yourscript Buildings.csv | sort -u > floors.csv

gawk -vFPAT='[^,]*|"[^"]*"' '{print $1 "," $3}' | sort | uniq

这是一个很棒的GNU Awk 4扩展,在这里您定义了一个字段模式而不是一个字段分隔符模式。为CSV创造奇迹。( docs )

埃塔(谢谢密丘): 要删除周围的引号, gsub("^\"|\"$","",$3) ;如果有更多的字段 $3 要这样处理,只需循环它们。
注意,这种简单的方法不能容忍格式错误的输入,也不能容忍引号之间的某些特殊字符覆盖所有这些字符,这超出了一行代码的范围。

我的解决方法是使用以下命令从csv中删除逗号:

decommaize () {
  cat $1 | sed 's/"[^"]*"/"((&))"/g' | sed 's/\(\"((\"\)\([^",]*\)\(,\)\([^",]*\)\(\"))\"\)/"\2\4"/g' | sed 's/"(("/"/g' | sed 's/"))"/"/g' > $2
}

也就是说,首先用“(”和“)”替换开头的引号,然后用“whateverwhere”替换“(”和“)”,然后将“(”和“)”的所有剩余实例改回”。

你可以试试这个基于awkbased的csv paser:

http://lorance.freeshell.org/csv/

您可以使用我编写的名为csvquote的脚本,让awk忽略被引用字段中的逗号。然后,命令将变为:

csvquote Buildings.csv | awk -F, '{print $1","$2}' | sort | uniq | csvquote -u > Floors.csv

切割可能比awk更容易:

csvquote Buildings.csv | cut -d, -f1,2 | sort | uniq | csvquote -u > Floors.csv

您可以在这里找到csvquote代码: https://github.com/dbro/csvquote

成熟的CSV解析器,如Perl Text::CSV_XS 是专门用来处理这种怪事的。

perl -MText::CSV_XS -lne 'BEGIN{$csv=Text::CSV_XS->new()} if($csv->parse($_)){ @f=$csv->fields(); print "$f[0],$f[1]" }' file

输入行被分成数组 @f
字段1是 $f[0] 因为Perl在0开始索引

输出:

u_floor,u_room
0,00BDF
0,0
0,3
0,5
0,6
0,7
0,8
0,9
0,19
0,20
0,21
0,25
0,27
0,29
0,35
0,45
0,59
0,60
0,61
0,63
0,0006M
0,0008A
0,0008B
0,0008C
0,0008D
0,0008E
0,0008F
0,0008G
0,0008H

我提供了更多的解释 文本::CSV XS 在我的回答中: parse csv file using gawk

由于问题实际上是要区分CSV字段中的逗号和分隔字段的逗号,因此我们可以用其他内容替换第一种逗号,以便更易于进一步解析,例如:

0,"00BDF","AIRPORT TEST            "
0,0,"BRICKER HALL<comma> JOHN W    "

这个gawk脚本(替换comma.awk)可以:

BEGIN { RS = "(.)" } 
RT == "\x022" { inside++; } 
{ if (inside % 2 && RT == ",") printf("<comma>"); else printf(RT); }

它使用gawk特性,将实际的记录分隔符捕获到一个名为 RT . 它将每个字符拆分为一个记录,当我们阅读记录时,我们将替换引号中遇到的逗号( \x022 )与 <comma> .

这个 FPAT 解决方案在一种特殊情况下失败,在这种情况下,转义引号和逗号都在引号内,但此解决方案在所有情况下都有效,即,

§ echo '"Adams, John ""Big Foot""",1' | gawk -vFPAT='[^,]*|"[^"]*"' '{ print $1 }'
"Adams, John "
§ echo '"Adams, John ""Big Foot""",1' | gawk -f replace-comma.awk | gawk -F, '{ print $1; }'
"Adams<comma> John ""Big Foot""",1

作为一个简单的复制粘贴一行:

gawk 'BEGIN { RS = "(.)" } RT == "\x022" { inside++; } { if (inside % 2 && RT == ",") printf("<comma>"); else printf(RT); }'