代码之家  ›  专栏  ›  技术社区  ›  Jonathan Beebe

修复数据完整性

  •  0
  • Jonathan Beebe  · 技术社区  · 14 年前

    基本问题是:开发团队如何开始修复大型受损数据集上的数据完整性?

    所以本地数据库有问题,本地和远程之间的关系(例如AdWords)也有问题,使问题更加复杂。

    有没有人可以分享一些提示、技巧或最佳实践来开始修复数据完整性?在一个快速、持续地添加和更新的系统中保持数据的完整性?

    2 回复  |  直到 12 年前
        1
  •  0
  •   symcbean    14 年前

    最大的问题是确定您打算对问题数据做什么:

    • 没有什么
    • 从保存在别处并可通过代码访问的数据重建
    • 手动重建数据
    • 删除(或者最好存档)

    这是你的第一级分类。一旦你得到了这个,你需要开始识别特定的问题,并从中衍生出一组定义错误模式的语义规则。

    这将允许您定义所需的修复,有效地划分工作的优先级,并规划资源利用率。它还应该允许您确定优先级、计划和部分确定根本原因消除。

    您定义的规则是正在进行的数据管理的起点,但是您应该考虑如何应用这些规则—为每个表添加时间戳字段/维护引用违反特定规则的行的表意味着您不需要每次检查数据时都处理所有数据-只不过是上次检查后发生了变化的内容-最好是跟踪从违规列表中删除的案例以及添加的案例。

        2
  •  0
  •   wallyk    14 年前

    根据需求和存在的“损害”程度,创建一个新数据库并修改应用程序以并行更新两者可能是明智的。

    有效的数据可以导入到新的d/b中,然后一系列渐进的提取可以添加有效数据并导入这些数据,直到工作量增加到试图恢复严重损坏的数据不再有意义为止。毫无疑问,一个未损坏的不完整数据库比一个损坏的数据库更好、更有用,只要它是损坏的,就不能称之为“完整的”。