代码之家 › 专栏 › 技术社区 › Julian Peil

频繁地保存数据库以节省数百万条记录?[副本]

sql-scripts entity-framework database sql-server c#

Julian Peil · 技术社区 · 7 年前

我正试图将大量数据插入到一个SQL server数据库中,我的问题是,当数百万条条目将被插入到其中时,我应该多长时间保存一次。在插入10000次或插入1000次后保存是否有效?有价值观吗? 我在用 C# Entity Framework 用数据填充服务器,所以我使用 DBContext 处理CRUD和保存的类。

1 回复 | 直到 7 年前

TomTom 7 年前

我使用C#实体框架向服务器填充数据

你的问题从这里开始。不适合这样。错误的工具。我喜欢实体框架,但它是一个ORM,而不是一个批量加载工具。

我通常使用SqlBulkLoader类将高达65k条记录加载到一个临时表中(以秒为单位,但请注意,您几乎必须使用一个临时表),我在一个命令/事务中将该临时表复制到最后一个表中。

全速并行处理4-5个线程。

不管您如何转换实体框架,一百万行都需要几个小时。只是错误的工具。

推荐文章

Pablo · 为什么POST-request方法返回null,但GET-request返回正确的对象

3 年前

Drago · Linq通过比较Id和具有Id的对象列表来查询获取列表

3 年前

Niyazi Babayev · 如何在表达式中动态应用表达式?

3 年前

DÄvis ZemÄ«tis · 使用多对多时如何将dto映射到业务对象

3 年前

Mere Mortal · 是dbContext。SaveChanges()是否足以保存多个表的所有3个操作、插入、更新和删除?

3 年前

Jacques · 存储库模式中的管道和过滤器模式返回“不包含X的定义…需要IQueryable<Y>

3 年前

Murat Güzel · EF存储库模式错误{'Id'}已被跟踪

3 年前

dotnetdevcsharp · 减少基于数据类型获取设置的方法数量

3 年前

saravanan049 · 在实体框架中回滚Azure SQL数据库

3 年前

maraaaaaaaa Luka Kostic · 自定义实体Id数据类型在插入时失败

3 年前