代码之家  ›  专栏  ›  技术社区  ›  Arnab Biswas

Apache Nifi慢速群集问题

sizing apache-nifi performance
  •  0
  • Arnab Biswas  · 技术社区  · 7 年前

    我在我的一个clickstream项目中使用Apache nifi来进行一些ETL。

    我周围交通繁忙 每秒300条消息 目前具有以下基础设施:

    • RAM-16 GB
    • 交换-6 GB
    • CPU-16核
    • 磁盘-100GB(不需要持久性)
    • 群集-6个节点

    整个集群UI变得非常慢,出现以下问题

    • 处理器在发生某些故障时返回压力,这会消耗大量线程
    • 出处书写变得非常缓慢
    • 节点间心跳变慢 Cluster Heart beat

    我对设置有以下问题

    • 是否建议使用RPG,因为它是一个HTTP调用,我使用它来传播 在所有节点上,因为EMQTT存在问题 消费者群体的流程。
    • 应该分配的线程数的建议值是多少 每个核心?
    • 基础架构规模调整的指导原则是什么
    • 对于具有大量传入请求和大量用于转换的JSON解析的大型集群,有哪些调整参数
    1 回复  |  直到 7 年前
        1
  •  1
  •   Sivaprasanna Sethuraman    7 年前

    一些建议

    • 是的,建议使用RPG,至少从我的经验来看,RPG似乎提供了更好的分发。请看下面的[3]
    • 一些处理器是CPU密集型的,因此没有明确的答案可以设置什么值 Concurrent Tasks 。这更多的是您必须掌握的试错或测试和微调方法。一个建议是,如果设置太多 并发任务 对于CPU密集型处理器,它将对节点产生严重影响。
    • Hortonworks对此做了详细的指导。我提供了以下链接。[1]

    一些最佳实践和便捷指南:

    推荐文章
    Leon N  ·  在HTML和CSS页面上居中显示图像
    8 年前
    关于   移动版
    代码之家 - 一站式码农服务社区
    沪ICP备11025650号