代码之家 › 专栏 › 技术社区 › redwolf_cr7

sklearn:pandas数据帧与numpy-ndarray的比较——它更有效地保存不同数据类型的[600k*1k]数据[关闭]

scikit-learn machine-learning numpy pandas python-3.x

redwolf_cr7 · 技术社区 · 8 年前

我正在尝试使用sklearn构建分类器。我的基础数据集的形状是[600000,1000]。在使用sklearn分类器时,哪个更有效?在数据帧或数据数组中保存此数据集?

2 回复 | 直到 8 年前

Inder Manali 8 年前

对于您提供的信息量,ndarray将更加高效,原因很明显,因为熊猫的设计目的多种多样,性能不是其灵活性和用户友好性的最重要考虑因素,您可以查看下面的示例: more details

seralouk 8 年前

对于索引和操作,numpy将更快。

import pandas as pd
import numpy as np

a = np.random.rand(600000,1000)
s = pd.DataFrame(a)

idx = range(1,100)

%timeit a[idx]
%timeit s.loc[idx]

10000圈,最好是3圈:62.9秒/圈

1000圈,每圈最好3:582秒

底线: numpy 更快

推荐文章

ÎÎÎ½Î· ÎÎ®Î¹Î½Î¿Ï · Python lxml.html语法错误:使用lxml find时XPATH的谓词无效

1 年前

Cam · Pandas列表日期到日期时间

1 年前

RASEL MAHMUD · 为什么以及如何在is_even()函数内的IF条件中递归X变量在满足0后递增?[副本]

1 年前

jjkennedy · Pandas文本文件导入:当每个文件中存在多个表时,自动选择1个表

1 年前

LMC · Numpy数组布尔索引以获取包含元素

1 年前

vr8ce · 非成对标记中特定字符的正则表达式

1 年前

Kernel · 如果指定了crs参数,shapefile的geopandas.read_file将出错

1 年前

ShaAnder · 为什么sqllachemy返回的是类而不是字符串

1 年前

sixtytrees · detectron2软件包未安装(没有名为“torch”的模块),但我安装了torch

1 年前

Pernoctador · Python映射可以复制吗?我需要参考地图

1 年前