大型数据集的SQLite?

SQLite可以很好地处理该文件;请确保导入事务中的记录,以便在导入所有内容之前不会花费大量时间创建索引。

你已经有了答案,但我想分享一下我目前的实验:我已经将价值793 GiB的数十亿条记录转储到一个SQLite数据库中,读取查询的速度仍然惊人(低于1m)。

创建时间略多于22个小时,每个列创建post索引大约需要4个小时。

我最近调查了SQLite的一个类似应用程序。SQLite文档说明SQLite数据库的大小可以达到TB,SQLite的主要限制是并发性(同时有许多用户)。虽然我们没有朝这个方向发展(我们有自己的二进制存储格式),但我非常相信SQLite可以处理这种大小的文件。

How do I get around the "'" problem in sqlite and c#?

我在sqlite数据库中存储了2G字节,它工作得非常好。sqlite在平面文件之上的一大优势是可以为数据编制索引。

如上所述,主要的瓶颈是并发性。目的是设计系统,使每个数据库文件最多打开一个数据库句柄。