如何在数据管道中跟踪数据差异

我知道的几个策略。

1. 首先, last_updated_timestamp 。只需在以下位置查找记录 上次更新时间戳 大于上一批的 max(last_updated_timestamp) .如果你没有 上次更新时间戳 ,我建议开始实施它。这可能是最便宜的方法。

2. 其次,如果确实还需要进一步筛选,可以使用所有字段的串联散列。实例 MD5(field1 || field 2 || ...) 。只有当第一种方法不可靠时,这才是值得的,因为即使你有哈希,比较它们(本质上是将你的现有记录与新的批次连接起来)也不是一个廉价的操作。这里的不可靠是指由于外部因素,例如用户行为。如果它因为没有正确实现而不可靠,那么修复它仍然是一条路要走。