代码之家 › 专栏 › 技术社区 › pleasedontbelong

shell过滤文件中的禁止字

awk filter shell linux

pleasedontbelong · 技术社区 · 14 年前

祝贝壳爱好者们今天愉快!

基本上我有两个文件:

频率.txt: (多行,空格分隔的文件,包含单词和频率)

de 1711
a 936
et 762
la 530
les 482
pour 439
le 425
...

我有一个包含“禁止”字眼的文件:

stopwords.txt文件: (一行,空格分隔的文件)

 au aux avec le ces dans ...

所以我想删除 频率.txt 所有包含单词的行在 stopwords.txt文件

我怎么能那样做?我想可以用awk来完成。。有点像

awk 'match($0,SOMETHING_MAGICAL_HERE) == 0 {print $0}' frequency.txt > new.txt

但我不确定。。。有什么想法吗??提前付款

4 回复 | 直到 14 年前

j_random_hacker 14 年前

tr ' ' '\n' < stopwords.txt | grep -vwFf - frequency.txt

这个 -w grep 是避免的关键。 le 在stopwords.txt中删除包含喜欢 less 或 little .

ghostdog74 14 年前

$ awk 'FNR==NR{for(i=1;i<=NF;i++)w[$i];next}(!($1 in w))' stop.txt freq.txt
de 1711
a 936
et 762
la 530
les 482
pour 439

Michael Goldshteyn 13 年前

tr ' ' '\n' <stopwords.txt | grep -v -w -F -f - frequency.txt

-v是反转匹配

-F表示模式是一组换行分隔的固定字符串
-f从stopwords.txt文件中获取模式字符串

如果有问题,因为它是空格分隔的,可以使用tr将空格替换为换行符:

pixelbeat 14 年前

join -v1 <(sort frequency.txt) <(tr ' ' '\n' <stopwords.txt|sort) | sort -k2,2rn

推荐文章

bairog · 从按属性筛选的对象数组字典中创建值数组

3 月前

D_chez12 · 如果对象键值为空,则过滤掉数组中的对象

5 月前

Jennifer Crosby · 查找pandas数据框列(段落或列表)包含另一个列表中任何值的行

9 月前

Sammi23 · 列表中的过滤功能

10 月前

Mehdi · 从数组中获取元素的索引,当从另一个数组中减去具有相同索引的元素时,该索引为负数

10 月前

Matt Williamson · Get CimInstance筛选器中的Or子句

10 月前

DN98024 · 如何在R中过滤掉其他所有内容的同时保持值的首次出现?

10 月前

Mithilesh choubey · 基于值从JavaScript中的嵌套JSON数组对象中筛选/删除数组对象

11 月前

jaundiced · YQ-如果匹配列表中的至少一个元素,如何按字段值筛选数组

11 月前

ForEverNewbie · 筛选时间段在另一行时间段内的行

11 月前