代码之家 › 专栏 › 技术社区 › MitterHai

PySpark:计算flatmap中的每个元素

pyspark

MitterHai · 技术社区 · 6 年前

我无法计算在PySpark中创建的列表中的每个元素。

以下是我的工作内容:

测试2 [u'EBook',u'Author:',u'English',u'OF',u'EBook',u'Inc',u'Etext',u'Inc',u'Etexts',u'Etext']

回溯(最近一次呼叫最后一次): 文件“”,第1行,在 TypeError:count()只接受一个参数(给定0)

有人能帮我学会如何正确计算元素吗?

非常感谢。

1 回复 | 直到 6 年前

HarryClifton 6 年前

测试2 是一个列表,所以你应该这样做 len(test2) 查找元素的数量。功能 计数() 在列表上调用时,将返回作为参数传递的任何内容的出现次数。

推荐文章

Kevin Smeeks · Pyspark JDBC分区读取

5 月前

user3579222 · 阅读以前的Spark API

5 月前

Danylo Kuznetsov · 如何在PySpark Rancher中将DataFrame转换为整数?

6 月前

JFlo · 在PySpark笔记本中读取多个Parquet文件

6 月前

Matthew Thomas · partition覆盖动态和“逻辑”分区

10 月前

lenpyspanacb · 在Pyspark中计算重复次数

10 月前

Jamal Khan · 如何在Apache Spark中读取500 GB的大文件CSV文件并对其执行聚合?

11 月前

Jamal Khan · 我们如何在Apache Spark中实现CDC(变更数据捕获)?

11 月前

maximodesousadias · 如何根据条件删除日期后的记录

11 月前

Joe Bloggr · 如何将Dataframe类型的函数参数传递给SparkSQL查询

12 月前