如何使用SparkYR行绑定两个Spark数据帧?

你可以用 dplyr::union_all

dplyr::union_all(iris_tbl1, iris_tbl1)

或 sparklyr::sdf_bind_rows

sdf_bind_rows(
  iris_tbl %>% select(-Sepal_Length),
  iris_tbl1 %>% select(-Petal_Length)
)

你也可以用Spark自己的 unionByName 如果架构兼容,但列的顺序不匹配。

sdf_union_by_name <- function(x, y) {
  invoke(spark_dataframe(x), "unionByName", spark_dataframe(y)) %>% 
    sdf_register()
}

sdf_union_by_name(
  iris_tbl %>% select(Sepal_Length, Petal_Length),
  iris_tbl %>% select(Petal_Length, Sepal_Length)
)