代码之家 › 专栏 › 技术社区 › user220583

它比编写代码好吗?

ssis

4

user220583 · 技术社区 · 15 年前

我有一个ETL项目,有很多需要清理的数据。我们在讨论很多复杂的转换。这个过程需要每晚进行,并且必须在一定的时间(10小时)内完成。为此,ETL最好使用系统上的所有处理器核心。

在多处理器环境中执行复杂的ETL转换更好:

SSI

或

dotnetframework4(让我限定一下。我可以使用实体框架和并行任务来编写和应用程序,以完成所需的复杂数据转换。编写一个应用程序来执行ETLing不是问题,但是我正在尝试使用 最好的工具 为了这份工作。)

我知道这是一个不公平的问题;s s is是一种技术,dot net是一个框架,但仍然。。。

3 回复 | 直到 15 年前

1

Ian Boyd 15 年前

我会说不。

我开始编写一个ETL作业,但由于第一列数据(格式化的日期时间)而受阻。SSIS无法对其进行正面或反面处理。

也许你可以花上几个星期的时间去想办法说服SSIS去做你想做的事情,但是仅仅完成它就容易多了。

2

3

texaswolfdog 13 年前

是的,使用SSIS是一件烦人的事情,我使用过的每个项目都让我惊讶于它所花费的时间比预期的要长得多。公平地说,我认为解决大多数问题的方法最终都可以用这两种方法中的任何一种 给足够的时间 .

使用这两种工具通常需要在每个项目中进行一些研究和学习。学习.NET让我深受启发。为了让SSIS正常工作,我不得不面对零碎的工作环境和晦涩的代码破解。

在软件编码中,还有什么比读写内存中的变量更基本的呢?它在任何语言中可能有多复杂?在执行这样一项基本任务时,对什么、何时、何地可能有多少限制?要找到答案,请在internet上搜索短语“ssis write To variables in script”。SSIS把复杂性提升到一个全新的层次,即使是最简单的操作也是如此!如果您必须在数据流任务中写入包变量,上帝会帮助您的。

3

1

grapefruitmoon 15 年前

SSIS是专门用于执行您提到的工作的工具。它是ETL处理的理想选择,并且内置了许多常见任务;在自定义的.Net框架中,必须从头开始编写这些任务。