代码之家 › 专栏 › 技术社区 › Dung Tran

将大量数据从SQL服务器传输到Azure SQL服务器的最佳方法。Azure数据工厂、HDInsight等

azure-data-factory-2 hdinsight azure-sql-database hadoop apache-spark

0

Dung Tran · 技术社区 · 7 年前

我希望找到将20 GB的SQL数据从安装在客户现场服务器客户端上的SQL Server数据库传输到我们的Azure SQL Server源的最佳方法,该源位于具有200个 DTUs 每月演出320美元。在进行初始设置时,我们设置了一个Azure数据工厂,通过多个表副本(例如,客户端表A的内容到源表A,客户端表B的内容到源表B等)复制20 GB以上的数据。然后,我们运行许多提取器存储过程,通过加入这些源选项卡,将源表中的数据插入到阶段表中。同时使用le,例如,源A连接到源B。之后是增量拷贝,但初始设置需要永远进行。

目前,S4上的复制时间约为12小时,提取时间为4小时。以每月2400美元的价格将性能等级提高到1600 DTU的S9,将时间缩短到6小时,提取时间为2小时,但这会带来更高的成本。

我想知道是否还有其他的Azure方法。与将Azure SQL DB扩展到S9及更高版本相比,使用Hadoop或Spark设置HDInsight群集是否更有效地降低成本?每月2400美元(31天)的S9为每小时3.28美元。 Azure HDInsight Clusters of Memorized Optimized Nodes of a D14 v2 instance 每小时1.496美元,所以比S9便宜。但是,它在性能方面是如何比较的。复制过程更快还是提取过程更快?

我还不习惯大数据方法。谢谢你的帮助。

1 回复 | 直到 7 年前

1

2

Leon Yue 7 年前

Azure数据工厂复制活动提供一流的安全、可靠和高性能的数据加载解决方案。它允许您每天通过丰富的云和内部数据存储复制数十兆字节的数据。复制活动提供了高度优化的数据加载体验,易于配置和设置。

您可以看到关于复制活动的性能参考表: 该表显示了基于内部测试运行的单个复制活动中给定源和接收器对的复制吞吐量(以Mbps为单位)。

如果您希望通过使用Azure数据工厂复制活动更快地传输数据,则Azure提供了三种实现更高吞吐量的方法:

数据集成单元。数据集成单元(diu)(以前称为云数据移动单元或dmu)是表示数据工厂中单个单元的功率(CPU、内存和网络资源分配的组合)的度量。您可以通过使用更多的数据集成单元(DIU)来实现更高的吞吐量。您将根据复制操作的总时间收费。为数据移动计费的总持续时间是DIU中持续时间的总和。
并行复制。我们可以使用ParallelCopies属性来指示您希望复制活动使用的并行性。对于每次运行的复制活动,数据工厂都会确定用于从源数据存储区和目标数据存储区复制数据的并行副本数。
阶段性拷贝。当您将数据从源数据存储复制到接收器数据存储时,您可以选择使用Blob存储作为临时临时临时临时存储。

您可以使用这些方法通过复制活动来调整数据工厂服务的性能。

有关Azure数据工厂复制活动性能的详细信息,请参阅: https://docs.microsoft.com/en-us/azure/data-factory/copy-activity-performance#data-integration-units