代码之家  ›  专栏  ›  技术社区  ›  joakimj

如何检查火花图中是否存在边

  •  4
  • joakimj  · 技术社区  · 7 年前

    我有一个Spark Graphx图,我想检查两个顶点之间是否存在边。 在Spark Graphx中执行此操作的首选方法是什么?

    更具体地说,我想将一个列表中所有顶点之间的所有边计算到另一个列表中的所有顶点。

    我试过这个:

    graph.edges.filter { case Edge(src, dst, prop) => ids1.contains(src)&&ids2.contains(dst)}.count
    

    ids1 ids2

    org.apache.spark.SparkException: Task not serializable
    

    我对Graphx不太熟悉,因此非常感谢您的帮助。

    1 回复  |  直到 7 年前
        1
  •  2
  •   karan.b    7 年前

    这对我来说很有用:

    graph.edges.filter(edge=>( ids.contains(edge.srcId) && ids.contains(edge.dstId))