代码之家 › 专栏 › 技术社区 › NickG

API:我如何远程检查两个数据集是否相同,而不通过API发送所有数据?

synchronization algorithm sql-server sql

NickG · 技术社区 · 8 年前

我正在构建一个允许远程系统同步的api 数以百万计的 数据表中的行(单向)。系统在每一端运行不同的数据库(我的接收系统是sql server,但发送系统是sap/hana),因此它们只能通过api进行通信。

仅使用api上的方法,如何确定两个系统之间数据行的差异并确保它们始终同步?

我的一个想法是提供一个ID列表(主键),接着是某种“检查”值或LaMasDATEDATE DATE,远程系统可以使用这些数据来找出需要添加或更新哪些记录。但是,如果有1000万行+,是否有任何方式避免每次发送所有1000万个密钥时,我想同步数据库?

有没有什么协议我可以从中复制出类似的想法?例如,我知道imap使用了类似于上面的方法,但是在处理“数百万”电子邮件方面很差。

编辑 (附加信息):

1 回复 | 直到 8 年前

btilly 8 年前

有一个定理,没有完美的方法来做到这一点而不发送完整的数据通过电线。

但是你可以作弊。这个 rsync 实用程序通过散列整个范围并进行比较来解决此问题。如果存在差异,它将分成块并重复,直到找到要发送的最小差异为止。这是作弊的原因是不同的东西的散列不是放心不同-他们很可能是不同的。

在你的情况下,我建议每个行都有哈希,然后在原始ID.的基础上散列这些散列的连接,如果有一个没有差异的块,你可以忽略它。如果它有差异并且很大,那么分成 k 块(您可以在 K )再重复一遍。如果它有差异并且小于 N 行(实验也一样)然后发送哈希列表,并且知道要比较的行。

为了效率,我将预先计算每行的哈希值,如@ ScSimon建议的,并有一个组合索引。 (id, hashed) . 这样,所有要拉回来的查询和散列块将只是索引数据结构上的范围查询,甚至不访问大表。相信我,这会对性能产生非常显著的影响。

推荐文章

davidalayachew · 为什么我的文件有竞争条件,即使我使用了StandardOpenOption。同步?

1 年前

Eric Auld · “与同步”关系

2 年前

vitaminC · 执行程序时无法理解tryLock方法

2 年前

Chuender · 在Flutter中,如何强制AWS数据存储从云端而非本地获取数据

2 年前

Ronald · 用Java同步此vs字段

3 年前

raivac · 了解在flutter领域mongodb中同步(恢复连接)时上传和下载丢失了多少数据

3 年前

Uuuuuumm · 当一个方法被并发方法调用时,我如何同步运行它

3 年前

lele · 如何使用atomic_compare_exchange_weak解决生产者-消费者问题?

3 年前

wpunkts · 如何使用外部信号控制视频播放的速度和方向

3 年前

Kalana D · 微软团队DDI。我可以拨打外部号码,但无法接听电话

4 年前