代码之家  ›  专栏  ›  技术社区  ›  mafu

将大量数据流存储到数据库时资源的使用

  •  1
  • mafu  · 技术社区  · 17 年前

    首先,我对数据库一无所知,所以如果这是一个愚蠢的问题,请原谅我。

    我的公司正在通过TCP接收大量的位置数据。每个包由几个浮点和一个时间戳组成。我们的任务是将数据存储到运行在现代PC上的数据库(MS SQL Server 2005)中。

    每个blob大约有20个字节。有多达1000个发送者,每个发送者每秒发送大约25个包。

    一台普通的个人电脑能处理这么多的数据吗?如果没有,如何处理这个问题?我们应该为每个发送者设置一台专用的PC吗?

    1 回复  |  直到 17 年前
        1
  •  2
  •   Bravax    17 年前

    为了理解您的要求:
    每秒最多可插入25000次
    您希望存储最多20个字节*1000个发送者*25个数据包*60秒*60分钟*24小时=43.2 GB/天。

    一些事情:

    • 这是一个非常大的数据量。
    • 一台普通的个人电脑无法应付这种情况,你需要一台功能强大的服务器和一个非常大的磁盘阵列来处理这种情况。
    • 你打算如何处理你的数据?如果您想要处理它,您可能需要查看数据仓库等。

    最后,这不是你的专业领域,对于这个规模的项目,你需要一个专家。
    找一个,即使是短期咨询。