代码之家 › 专栏 › 技术社区 › Sai

如何在pyspark中仅从数据帧中选择70%的重编码?

pyspark-sql apache-spark-mllib pyspark apache-spark python-2.7

Sai · 技术社区 · 7 年前

我有一个数据框如下

+----+-----+--------------------+
|test|count|             support|
+----+-----+--------------------+
|   A|    5| 0.23809523809523808|
|   B|    5| 0.23809523809523808|
|   C|    4| 0.19047619047619047|
|   K|    2| 0.09523809523809523|
|   G|    2| 0.09523809523809523|
|   L|    1|0.047619047619047616|
|   D|    1|0.047619047619047616|
|   F|    1|0.047619047619047616|
+----+-----+--------------------+

我只想从pyspark中的给定数据帧中选择前75%的记录。

+----+-----+--------------------+
|test|count|             support|
+----+-----+--------------------+
|   A|    5| 0.23809523809523808|
|   B|    5| 0.23809523809523808|
|   C|    4| 0.19047619047619047|
|   K|    2| 0.09523809523809523|
|   G|    2| 0.09523809523809523|
|   L|    1|0.047619047619047616|
+----+-----+--------------------+

0 回复 | 直到 7 年前

Oli 7 年前

你可以计算数据帧的大小乘以它 0.75 使用 limit 功能看起来是这样的:

df75 = df.limit(int(df.count() * 0.75))

推荐文章

Vasu Mistry · 如何用字符串值解析yaml文件

4 年前

user13643099 · Python2.7使用子流程。Popen向kubectl exec发送了一封不工作的吊舱

4 年前

kopew · 索引器:列表索引超出api的范围

4 年前

Atefeh Hedayati · 如何使用矩阵乘法简化循环?

4 年前

Sachin Verma · 如何使用sqlbuilder使用聚合函数(平均、计数、最大、最小)。智能SQL

4 年前

wayoh22 · 检查部分值和返回全部值的列表

4 年前

Samy Mostakim · chrome正常工作,但firefox给我这个erorr

4 年前

XManit · 无法在python2上安装pyinstaller。7.18

4 年前

arwind mohan kmm · Python中的图像拆分器

4 年前

Cranjis · 网址。解析Python2。7相当于

8 年前