Awk/sed替换换行符

简介:

我收到一个CSV文件,其中字段分隔符是管道特征(即。, | ). 此文件具有预定义的字段数(例如 N ). 我可以发现 N 通过读取CSV文件的头,我们可以假设它是正确的。

问题:

有些字段错误地包含换行符,这使得行看起来比要求的短(即 M 字段,使用 M < N ).

我需要创建一个 sh 脚本(不是 bash )来修理这些线路。

尝试的解决方案:

我尝试创建以下脚本以尝试修复文件:

if [ $# -ne 1 ]
then
    echo "Usage: $0 <filename>"
    exit
fi

# get first line
first_line=$(head -n 1 $1)

# get number of fields
num_separators=$(echo "$first_line" | tr -d -c '|' | awk '{print length}')

cat $1  | awk -v numFields=$(( num_separators + 1 )) -F '|' '
{
    totRecords = NF/numFields
    # loop over lines
    for (record=0; record < totRecords; record++) {
        output = ""
        # loop over fields
        for (i=0; i<numFields; i++) {
            j = (numFields*record)+i+1 
            # replace newline with question mark
            sub("\n", "?", $j)
            output = output (i > 0 ? "|" : "") $j 
        }
        print output
    }
}
'

然而,换行符仍然存在。 我怎样才能解决这个问题?

CSV示例:

FIRST_NAME|LAST_NAME|NOTES
John|Smith|This is a field with a
newline
Foo|Bar|Baz

预期产出:

FIRST_NAME|LAST_NAME|NOTES
John|Smith|This is a field with a * newline
Foo|Bar|Baz

* I don't care about the replacement, it could be a space, a question mark, whatever except a newline or a pipe (which would create a new field)