代码之家  ›  专栏  ›  技术社区  ›  Mark Nold

大型数据集的SQLite?

  •  19
  • Mark Nold  · 技术社区  · 15 年前

    数据集中的主表仅超过1M行、30列,CSV大小约为600Mb。

    我正在考虑SQLite。对于这种大小的数据集,SQLite值得研究吗?

    5 回复  |  直到 15 年前
        1
  •  22
  •   Ana Betts    15 年前

    SQLite可以很好地处理该文件;请确保导入事务中的记录,以便在导入所有内容之前不会花费大量时间创建索引。

        2
  •  10
  •   Alix Axel    10 年前

    你已经有了答案,但我想分享一下我目前的实验:我已经将价值793 GiB的数十亿条记录转储到一个SQLite数据库中,读取查询的速度仍然惊人(低于1m)。

    创建时间略多于22个小时,每个列创建post索引大约需要4个小时。

        3
  •  9
  •   Robert Harvey    15 年前

    我最近调查了SQLite的一个类似应用程序。SQLite文档说明SQLite数据库的大小可以达到TB,SQLite的主要限制是并发性(同时有许多用户)。虽然我们没有朝这个方向发展(我们有自己的二进制存储格式),但我非常相信SQLite可以处理这种大小的文件。

        4
  •  6
  •   Community CDub    8 年前

    How do I get around the "'" problem in sqlite and c#?

    我在sqlite数据库中存储了2G字节,它工作得非常好。sqlite在平面文件之上的一大优势是可以为数据编制索引。

        5
  •  3
  •   laalto    15 年前

    如上所述,主要的瓶颈是并发性。目的是设计系统,使每个数据库文件最多打开一个数据库句柄。