代码之家  ›  专栏  ›  技术社区  ›  Idos

Hadoop map/reduce显示错误:com。mongodb。联系SslSettings$Builder。上下文(Ljavax/net/ssl/SSLContext;)

  •  2
  • Idos  · 技术社区  · 7 年前

    我定期运行map/reduce作业,最近我收到了这样的日志:


    27年9月17日10:38:07 INFO mapreduce。作业:任务Id:
    尝试_1494368272823\u 5583\u m\u 000014\u 0,状态:失败 错误:com。mongodb。联系SslSettings$Builder。上下文(Ljavax/net/ssl/SSLContext;)Lcom/mongodb/connection/SslSettings$Builder;

    27年9月17日10:38:10 INFO mapreduce。作业:映射30%减少6%

    27年9月17日10:38:45 INFO mapreduce。作业:映射33%减少6%
    27年9月17日10:38:46 INFO mapreduce。作业:映射33%减少7%

    27年9月17日10:38:52 INFO mapreduce。作业:映射35%减少8%

    27年9月17日10:39:15 INFO mapreduce。作业:任务Id:trunt\u 1494368272823\u 5583\u m\u00000 8\u 0,状态:失败

    根据要求杀死容器。退出代码是143
    集装箱以非零出口代码143退出

    27年9月17日10:39:16 INFO mapreduce。作业:映射40%减少10%

    由于任务失败,作业失败。failedMaps:1 failedReduces:0

    文件系统计数器

    文件:写入的字节数=5481350
    文件:读取操作数=0
    文件:大读取操作数=0
    文件:写入操作数=0
    HDFS:读取的字节数=3430808431
    HDFS:写入的字节数=2495944
    HDFS:读取操作数=5540
    HDFS:大读取操作数=0
    作业计数器
    失败的映射任务=21
    终止地图任务=9
    终止减少任务=1
    启动的地图任务=47
    启动的reduce任务=1
    其他本地地图任务=20
    数据本地映射任务=26
    机架本地地图任务=1
    所有地图在占用时隙中花费的总时间(ms)=34635900
    所有reduces在占用的插槽中花费的总时间(ms)=3707820
    所有map任务花费的总时间(毫秒)=3463590
    所有reduce任务花费的总时间(ms)=370782
    所有映射任务占用的总vcore毫秒数=3463590
    所有reduce任务占用的vcore总毫秒数=370782
    所有映射任务占用的总MB毫秒数=34635900000
    所有reduce任务占用的总MB毫秒数=370782000

    映射输入记录=18
    地图输出记录=9722
    映射输出字节=2572358
    映射输出物化字节=2608684

    合并输入记录=0
    溢出记录=9722
    失败的洗牌=0


    CPU时间(毫秒)=1809020

    虚拟内存(字节)快照=155695132672
    总提交堆使用率(字节)=60439920640
    文件输入格式计数器
    读取的字节数=0

    有时这项工作实际上是成功完成的。有时是这样的。日志中没有提供更多信息。我希望大家能了解到底是什么导致了这次失败?据我所知,这似乎不是超时或内存问题。集群未过载(我已检查)。。。

    1 回复  |  直到 7 年前
        1
  •  1
  •   Marco99    7 年前

    我想你用的是 MongoClient 例子

    在这种情况下,请验证参数是否与 SSLContext 设置如下参考中所述: http://mongodb.github.io/mongo-java-driver/3.6/driver/tutorials/ssl/

    《Java安全套接字扩展(JSSE)参考指南》将是一本很好的读物,以了解更多信息 SSLContext https://docs.oracle.com/javase/8/docs/technotes/guides/security/jsse/JSSERefGuide.html

    你会发现关于创建 SSLContext .

    https://jira.mongodb.org/browse/JAVA-2590

    摘自该链接 :

    请清理您的依赖关系并使用最新的。