从流中分离相似的数据

这可能对您有用(gnu sed&sort):

sed '/\n/!s/[^|]*REF_DATA[^|]*/\n&\n/;/^[^|]*REF_DATA/P;D' file | sort -u

用换行符包围指定的字符串,只在单独的行上打印这些字符串,并对那些只显示唯一值的行进行排序。

你能试着跟我说一下吗,如果这对你有帮助的话。

awk 'match($0,/REF_DATA[^|]*/){val=substr($0,RSTART,RLENGTH);if(!array[val]++){print val}}'  Input_file

现在也添加了一个非线性的解决方案。

awk '
match($0,/REF_DATA[^|]*/){
  val=substr($0,RSTART,RLENGTH);
  if(!array[val]++){
    print val
  }
}'  Input_file

假设你有GNU GREP:

command_to_produce_data | grep -oP '(?<=[|])REF_DATA.+?(?=[|])' | sort -u

awk -F\| '{print $4}' file
REF_DATA^1^Y^
REF_DATA_IND^1^B^