代码之家 › 专栏 › 技术社区 › Taimur Islam

熊猫数据帧中的大数据加载

bigdata jupyter-notebook oracle python-3.x

Taimur Islam · 技术社区 · 7 年前

由于我是大数据平台的新手,我想用我的数据做一些功能工程工作。数据库大小约为30-50 Gb。是否可以在像熊猫数据帧这样的数据帧中加载完整数据(30-50Gb)?

这里使用的数据库是Oracle。我试图加载它,但内存不足错误。此外,我喜欢在Python中工作。

0 回复 | 直到 7 年前

codebr 5 年前

pandas不是很好,如果您有GBS的数据,那么最好使用分布式体系结构来提高速度和效率。有一个名为DASK的库,它可以加载大数据并使用分布式体系结构。

推荐文章

maddy · 如何根据oracle SQL中的某一列值进行排名

3 年前

kiric8494 · 显示以元音开头和结尾的城市名称

4 年前

Marko Masnikosa · 为什么SUBSTR不使用instr在结束索引处停止?

4 年前

Franz Biberkopf · Oracle:组合子查询和聚合函数

4 年前

BitLauncher · 甲骨文-如何模拟位列和布尔和/或?

4 年前

Arifullah · 如何从oracle中的列中删除特定的初始字符?

4 年前

Anar · Oracle SQL用户定义函数

4 年前

Ewerton Alves · 如何获取下一季度的数据-ORACLE SQL

4 年前

Pierre-olivier Gendraud · 如何在sql*plus中执行动态sql语句

4 年前

user1312312 · 如何为一组表编写通用触发器?

4 年前