代码之家 › 专栏 › 技术社区 › Martin Bobak

如何在Azure Data Factory中使用预复制脚本删除空/特殊字符行?

azure-data-lake azure-data-factory azure-sql-database azure sql-server

Martin Bobak · 技术社区 · 7 年前

我正在使用Azure数据工厂(ADF)将文件夹中的数据从Azure data Lake移动到SQL Server。

该文件夹包含数百个文件。csv文件。然而,这些csv的一个不一致的问题是,一些(不是全部)的最后一行包含特殊字符,当尝试加载到非NVARCHAR(MAX)数据类型的sql表时,这将失败。为了解决这个问题,我必须首先使用ADF将数据加载到所有列都设置为NVARCHAR(MAX)的临时表中,然后将不包含特殊字符的行插入到具有适当数据类型的表中。

这是一个每周处理一次的过程,数据量超过了1 TB,移动数据需要花费很长时间,因此我正在寻找将数据导入到最终表中的方法,而不是使用临时组件。

我注意到,有一个“预复制脚本”字段可以在加载到sql server之前执行。我想添加代码,允许我在加载到sql server之前解析出特殊字符或空行。

我不确定如何处理这个问题,因为csv不会存储在表中,所以SQL代码无法工作。在将数据加载到sql server之前,有没有关于如何利用预复制脚本清理数据的指导?

2 回复 | 直到 7 年前

Martin Esteban Zurita 7 年前

预复制脚本是在复制新数据之前针对数据库运行的脚本,而不是为了修改正在接收的数据。

我已经回答了另一个问题,使用中间表提供了一个可能的解决方案: Pre-copy script in data factory or on the fly data processing

希望这有帮助!

Fang Liu 7 年前

可以考虑存储过程。 https://docs.microsoft.com/en-us/azure/data-factory/connector-azure-sql-database#invoking-stored-procedure-for-sql-sink

推荐文章

user1043144 · u-sql:筛选出空//空字符串(microsoft academic graph)

8 年前

Venkataraman R · U-SQL作业超时:JM没有及时检测信号

8 年前

Richard · 在两者之间加入U-SQL以创建每月结果

8 年前

Siddiqui Mind · 使用按需HD Insight群集从Azure datafactory V2访问datalake

8 年前

Fariha Abbasi · 如何通过Typescript REST调用将文件上载到Azure Data Lake

8 年前

Raghavendra Narayana · Azure表存储-数据湖文件-通过USQL获取单行Select语句时触发响应时间慢

8 年前

Nario · SSIS复制多个表

8 年前

Lee. YunSu · 如何使用Azure Blob存储连接到Azure Data Lake Analysis

8 年前

Chris B. Behrens · 数据湖中的表有什么意义?[已关闭]

8 年前

Anirudh Rayabharam · U-SQL视图并发读写

8 年前