如何不敏感地计算明文文件大小写中的唯一项?

在Perl中:

my %words; 
while (<>) { 
    map { $words{lc $_} = 1 } split /\s/); 
} 
print scalar keys %words, "\n";

使用bash/UNIX命令:

sed -e 's/[[:space:]]\+/\n/g' $FILE | sort -fu | wc -l

在Python 2.4中(可能也适用于早期系统):

#! /usr/bin/python2.4
import sys
h = set()
for line in sys.stdin.xreadlines():
  for term in line.split():
    h.add(term)
print len(h)

在Perl中:

$ perl -ne 'for (split(" ", $_)) { $H{$_} = 1 } END { print scalar(keys%H), "\n" }' <file.txt

< somefile tr 'A-Z[:blank:][:punct:]' 'a-z\n' | sort | uniq -c

tr [:blank:][:punct:] 使用一个包含所有空格和标点符号的列表,您希望将其视为单词的分隔符,而不是单词的一部分,例如 \t.,;

| sort -r -n “到此为止。

请注意,这也会产生不相关的空白标记计数;如果你对此感到担忧 你可以使用sed过滤掉空行。

这是一个Perl单行代码:

perl -lne '$h{lc $_}++ for split /[\s.,]+/; END{print scalar keys %h}' file.txt

perl -lne '$h{lc $_}++ for split /[\s.,]+/; END{printf "%-12s %d\n", $_, $h{$_} for sort keys %h}' file.txt

perl -nE'@w{map lc,split/\W+/}=();END{say 0+keys%w}'

perl -lne'@w{map lc,split/\W+/}=();END{print 0+keys%w}'

Python的一个简短版本:

print len(set(w.lower() for w in open('filename.dat').read().split()))

python -c "print len(set(w.lower() for w in open('filename.dat').read().split()))"

这是一个awk oneliner。

$ gawk -v RS='[[:space:]]' 'NF&&!a[toupper($0)]++{i++}END{print i}' somefile

• 独特的词语”。