代码之家 › 专栏 › 技术社区 › kerem

趋势超过1亿行

sql

kerem · 技术社区 · 15 年前

我有一个系统,每秒记录一些测量值。存储趋势数据的最佳方法是什么?这些数据是对应于特定秒数的值?

1 day = 86.400 seconds
1 month = 2.592.000 seconds

目前有50个表将趋势数据分组,每个表有20列。这些表包含超过1亿行。

    TREND_TIME datetime (clustered_index)
    TREND_DATA1 real
    TREND_DATA2 real
    ...
    TREND_DATA20 real

3 回复 | 直到 15 年前

Gilad 15 年前

我将改变数据保存方法,而不是将“原始”数据保存为值,而是将5-20分钟的数据保存在一个数组(内存,BL端),使用基于LZ的算法压缩该数组,然后将数据作为二进制数据存储在数据库中。另外,最好保存Max/Min/Avg/等。。二进制块的信息。

Robert Christie 15 年前

你考虑过吗 RRDTool -它为时间序列数据提供循环数据库或循环缓冲区。您可以按自己喜欢的时间间隔存储数据,然后定义合并点和合并函数,例如(sum、min、max、avg)在给定的时间段、1秒、5秒、2天等。因为它知道您需要什么合并点,所以它不需要在对所有数据点进行合并后存储它们。

如果您确实需要所有的数据点,请考虑仅将其用于聚合。

Adam Houldsworth 15 年前

1秒到多个趋势首先显示一个单独的表,其中有一个seconds表外键。或者,如果“许多趋势值”由列而不是行表示,则可以始终将列附加到seconds表并产生空值。

你试过吗?表现差吗?

推荐文章

Johnny T · 基于当前值的SQL合并表[重复]

1 年前

Shukurullox Komiljonov · 从记录中获得相互和解。使用SQL

1 年前

John D · 需要为NULL或NOT NULL的WHERE子句

1 年前

ojek · 如何对SQL结果进行分组和编号?

1 年前

senek · 如何在PL/SQL中将选择结果(列)放入数组中

1 年前

Sax · 规范化Google表格(第一步)

1 年前

BarÄ±Å UÅaklÄ± · 如何在ON冲突更新中使用CTE中的值

1 年前

Jatin · 检索卷计数的动态sql抛出错误语法错误[关闭]

1 年前

Andrus · 如何在sql中查找第二个匹配项

1 年前

Nebula Tech · 在SQL Server中搜索字符串中单词的多次出现

1 年前