代码之家  ›  专栏  ›  技术社区  ›  Mario Ishac

为什么分区在缩小之前需要排序?

  •  0
  • Mario Ishac  · 技术社区  · 8 年前

    从 here :

    线程执行内存中的按键排序,如果有组合器 函数,它在“sort”的输出上运行

    我认为分区对应于一个键,因此reduce任务将减少一组只与一个键关联的值。如果只有一个键,分区不是已经排序了吗?

    毕竟,这个答案来自 here

    分类为减速器节省了时间,有助于它在 当排序后的输入数据中的下一个键与

    意思是reduce任务与一个键相关联,因为每个reduce任务有一个分区,所以分区与一个键相关联。那么,如果只有一个键,为什么每个分区中都必须有一个排序呢?

    0 回复  |  直到 8 年前
    推荐文章