PySpark序列化映射lambdas中的“自”引用对象?

根据本文件,这确实会导致整个C0实例的酸洗: http://spark.apache.org/docs/latest/programming-guide.html#passing-functions-to-spark .

为了避免这种情况,请执行以下操作:

class C0(object):

  def func0(self, arg): # added self
    ...

  def func1(self, rdd): # added self
    func = self.func0
    result = rdd.map(lambda x: func(x))

故事的寓意:避免 self 关键字在地图调用中的任何位置。如果Spark可以在本地闭包中计算函数,那么它可以聪明地序列化单个函数 自己 强制spark序列化整个对象。