代码之家 › 专栏 › 技术社区 › Reddevil

使用Java实现Spark中的类型安全连接

apache-spark-dataset apache-spark-sql join apache-spark java

Reddevil · 技术社区 · 6 年前

我有两个数据集,我使用java将它们连接起来,如下所示

Dataset<Row> joineddata = ds1.join(ds2, col("col1").equalTo(col("col2")), "inner");

谁能告诉我如何使用java以类型安全的方式在apacespark中连接两个数据集。我可以在scala中找到类型安全连接的例子。但是我用java找不到同样的方法。

有人能给我推荐一个链接或与此相关的东西吗

1 回复 | 直到 6 年前

linehrr 6 年前

伊莫,我想你到目前为止还做不到。

scala社区实现了以下目标: https://github.com/typelevel/frameless . 但由于它使用的是Cats,所以很难将其移植到Java中。即使使用这个lib,您也不再处理本机Spark,因此并非所有sparkapi都支持无框架。

row.getAs 基本上是类型转换,所以RT异常是不可避免的。

推荐文章

srinath tripuraneni · {DataFrameWriter CSV到HDFS文件系统}不分区写入数据

3 年前

Calcutta · Google Colab中的Spark SQL在大数据上失败

3 年前

Palkin Jangra · 使用循环在Pyspark数组元素上和元素本身内迭代两次

3 年前

Doraemon · PySpark:使用不同值的字符串类型列创建聚合列

3 年前

amol visave · spark作业失败时会发生什么?

3 年前

Alex Jolly · 如何在另一个pyspark数据帧中查询开始时间和结束时间之间的日期时间

3 年前

chun · pyspark dataframe在s3中两次写入csv文件

3 年前

Mod_x · 如何将特定列的行标题更改为行标题,并在pySpark中生成矩阵?

3 年前

katty · 动态地将参数传递给scala中的函数

6 年前

Abhishek Choudhary · 如何更新数组列?

6 年前