代码之家 › 专栏 › 技术社区 › Bogdan Gusiev

将500万条记录导入rails应用程序

data-import parsing ruby xml ruby-on-rails

Bogdan Gusiev · 技术社区 · 16 年前

我们需要将大量数据(大约500万条记录)导入到postgresqldb underrails应用程序中。数据将以xml格式提供,其中包含用Base64编码的图像。

xml文件的估计大小为40GB。什么样的xml解析器可以在ruby中处理如此多的数据?

谢谢。

3 回复 | 直到 16 年前

Juha Syrjälä 16 年前

你会想用一些 SAX parser . SAX解析器不会一次将所有内容加载到内存中。

googling 给 this blog post . 你可以从那里开始挖掘。

你也可以试着 split 将XML文件分成更小的部分,使其更易于管理。

Sebastian 16 年前

Ryan Bigg Andrés Bonilla 16 年前

您可以使用DBMS CSV加载功能将数据转换为CSV,然后将其加载到数据库中。为了 MySQL it's this PostgreSQL it's this . 我不会用Ruby内置的任何东西来加载40GB的文件,它的内存不太好。最好留给“专业人士”。

推荐文章

aarona · Rails迁移批量更新change_column_default

1 年前

cluster1 · 采取独立的新行动的好处是什么?

1 年前

Robert · 使用JSON或哈希时,将NULL替换为NIL

1 年前

cluster1 · Rails form_with-helper:什么是:作用域?

2 年前

stevec Zxeenu · 如何在rails控制台中禁用寻呼机,以便将整个结果打印到控制台?

2 年前

Fred Willmore · Rails控制器不呈现任何模板

2 年前

Diogo Amaral · 实现API请求的正确方式

2 年前

Meknassih · 在控制器方法中分配给模型没有任何作用

2 年前

Michael Ding · Rails上的默认会话到期问题

2 年前

Flávio · 基于另外两个生成数组

2 年前