代码之家 › 专栏 › 技术社区 › geeb.24

使用Awk消除基于两列的重复行

awk bash

geeb.24 · 技术社区 · 6 年前

鉴于此输入:

#       133        15
KBL  40.385  26.385 1.0000 S
KBL  23.846   9.289 1.0000 P
KBL  40.234  26.385 1.0000 S
#       133         4
KBL  40.234  28.566 1.0000 S
KBL  40.385  28.566 1.0000 S
KBL  23.846  12.032 1.0000 P

#       133        15
KBL  40.385  26.385 1.0000 S
KBL  23.846   9.289 1.0000 P
#       133         4
KBL  40.234  28.566 1.0000 S
KBL  23.846  12.032 1.0000 P

我试过了 awk '!a[$0]++' file.xy . 但是,这只会删除完全相同的行。我只想删除在第二列或第三列中有重复值的行。

2 回复 | 直到 6 年前

Ed Morton 6 年前

# -行分隔块:

$ awk '/^#/{print; delete seen; next} !(seen[$2]++ || seen[$3]++)' file
#       133        15
KBL  40.385  26.385 1.0000 S
KBL  23.846   9.289 1.0000 P
#       133         4
KBL  40.234  28.566 1.0000 S
KBL  23.846  12.032 1.0000 P

Ashutosh 6 年前

awk '!a[$2]++ || !a[$3]++' file1.txt > file2.txt && awk '!a[$3]++' file2.txt

产生的结果是:

#       133        15
KBL  40.385  26.385 1.0000 S
KBL  23.846   9.289 1.0000 P
#       133         4
KBL  40.234  28.566 1.0000 S
KBL  23.846  12.032 1.0000 P

推荐文章

Jerome · 用于检查成功响应的脚本,而不仅仅是200[已关闭]

5 月前

NullVoxPopuli · 重命名文件夹的最快方法是什么?[关闭]

5 月前

Super_Programmer · Linux中带括号的环境变量?[副本]

5 月前

D S · 试图弄清楚为什么带有awk/read的bash代码在另一台设备上不起作用

5 月前

Fravadona · 如何检测“while read-t TIMEOUT”循环因超时而退出?

6 月前

njamescouk · 使用sed或tr和bash将制表符转换为单位分隔符

6 月前

Folkert Meeuw · lsusb|awk'{print$6}'|xargs-null lsusb-s有什么问题

6 月前

YorSubs · Linux中遍历目录的时间不同方法[关闭]

6 月前

Plankt0n · Shell,执行一个需要逐一遍历多个值的命令

6 月前

Andres Mora · 如何根据文件名条件删除文件夹中的图像?

6 月前