从整数和小数字符串中删除字符的最有效方法

我正在将原始的美国人口普查数据处理到SQL Server数据库中。解压后的tar文件会产生14000多个CSV文件,需要处理成266个不同的数据库表。我必须遍历每个CSV文件并在文件中附加一个头,这样SSIS就可以将原始数据ETL到目标sqlserver表中。

每个CSV文件的前6列完全相同。每个文件的其余列是不同的。其余列中的数据主要是数值(整数和小数)。然而,美国人口普查局添加了一些被称为“jam”值的字符来表示为什么没有价值。我需要用null或空字符串替换这些jam值,因为目标数据库表列是小数,jam值会导致ssi插入失败。

1. 创建StringBuilder变量
2. 将行标题附加到StringBuilder以便SSIS正常工作
4. 对于每一行,我必须拆分前6列,因为我需要目标表中的这些字符串。然后,我将剩余的列分开,因为我必须删除留下数字数据的jam值
5. 将前6列和清理后的数据合并到一行中
6. 将新清理的行附加到StringBuilder
7. 在完成对所有行的循环之后,将StringBuilder写入目标文件夹,SSIS将加载到数据库中。

1. 循环超过14000个文件
2. 对于每个文件,循环每行

下面是我在每个文件上循环的代码:

    private static Boolean BuildCensusDataFileWithHeader(String censusDataFilePath, String rowHeader, String censusDataDestinationFilePath)
    {
        try
        {
            // BUILD NEW FILE WITH HEADER
            StringBuilder currentContent = new StringBuilder();
            currentContent.Append(rowHeader + Environment.NewLine);

            //RETRIEVE ALL LINES IN TARGET FILE
            List<String> rawList = File.ReadAllLines(censusDataFilePath).ToList();

            // LOOP THROUGH EACH LINE AND REMOVE ANY STRINGS IN COLUMNS AFTER COLUMN 6
            // NOTE: COLUMNS 1-6 CONTAINS STRINGS NEEDED IN DATABASE
            foreach (var row in rawList)
            {
                //TURN COMMA DELIMITED ROW OF DATA INTO ARRAY
                String[] rowArray = row.Split(",");

                // PEEL OFF FIRST 6 COLUMNS TO BE KEPT AS IS
                IList<String> goodStrings = rowArray.Take(6).ToList();

                // RETRIEVE REMAINING COLUMNS TO BE CLEANED OF STRINGS
                IList<String> stringsToNullList = rowArray.Skip(6).ToList();

                // REMOVE ALL STRINGS
                stringsToNullList.OnlyDecimalValues();

                // PUT GOOD COLUMNS AND CLEANED COLUMNS BACK TOGETHER AS A ROW
                var cleanedRow = $"{String.Join(",", goodStrings)},{String.Join(",", stringsToNullList)}";

                // APPEND ROW TO NEW DOCUMENT TO BE WRITTEN TO TARGET DIRECTORRY CONTAINING CLEANED DATA
                currentContent.Append(cleanedRow + Environment.NewLine);
            }

            File.WriteAllText(censusDataDestinationFilePath, currentContent.ToString());

            return true;
        }
        catch (Exception ee)
        {
            string temp = ee.Message;
            return false;
        }
    }

以下是我用空格替换字符的扩展方法:

    public static void OnlyDecimalValues(this IList<String> stringToClean)
    {
        for (int i = 0; i < stringToClean.Count; ++i)
        {
            stringToClean[i] = (stringToClean[i].IsDecimal()) ? stringToClean[i] : "";
        }
    }

    public static bool IsDecimal(this string text)
    {
        decimal test;
        return decimal.TryParse(text, out test);
    }

这一切都是通过蛮力编程实现的。有没有更有效的方法?

谢谢你抽出时间。