代码之家 › 专栏 › 技术社区 › SUBHOJEET

如何使用pyspark读取rds文件?

rdd pyspark apache-spark r

SUBHOJEET · 技术社区 · 1 年前

我需要使用pyspark读取一个很大的.rds文件。我知道我可以使用pyreadr读取.rds文件。但我的文件大小大约是20 GB。

0 回复 | 直到 1 年前

推荐文章

Leonard · Pyspark:JSON到Pyspark数据帧

2 年前

Fran Arenas · Pyspark collect()方法在Pycharm或控制台中执行测试时给出了不同的顺序

2 年前

titutubs · 有没有一种更有效的方法来为Databricks SQL中的bin值编写代码?

3 年前

markwatson · AWS Glue:如何在输出中添加具有源文件名的列?

7 年前

juamd · 顺序(k,<元组>)RDD

7 年前

Gaurav Gupta · 如何加载多行记录的CSV文件?

7 年前

Jared · 如何在本地模式下运行的pyspark中读取S3?

7 年前

ka_boom · 在pyspark中链接多个groupBy

7 年前

ds_user · 在apache spark中复制记录计数

7 年前

ds_user · 结合类型和子类型的Apache Spark组

7 年前