关系数据库设计模式问题——海量只读数据库

我有一个有趣的挑战,那就是建立一个从大约500个不同来源导入数据的数据库。

每个源都有自己的模式,很多都非常不同。然而,它们都是关于一个共同实体的数据。

我的第一个想法是一个典型的实体/属性/值模式,然而,在将一个源(550k行)的非规范化导入转换为AEV之后,我在Attribute_Value表中得到了3600万行。有了适当的索引,这仍然非常快,但这只是迄今为止500个进口来源中的一个。

我认为这不会扩展,但是它确实有助于非常好的逻辑分区,我们不需要跨导入源连接,所以我们可以(理论上)构建50个左右的独立数据库。

我正在寻找那些使用过大量数据源的人,以及他们在行数达到数亿时如何处理事情的经验。