代码之家  ›  专栏  ›  技术社区  ›  Ramdev Sharma

Hbase堆载桩周期性与小压实关系

  •  0
  • Ramdev Sharma  · 技术社区  · 6 年前

    我有一个场景,我们必须定期加载HFiles到HBase表的拨号基础上。

    在进行测试时,我观察到,即使在区域中立即有3个以上的文件,也不会触发小压缩。这可能会导致有很多文件保存同一行键的行时出现问题。

    我看到压缩线程在10000秒后(大约2小时45分钟)开始压缩并将压缩任务放入队列。

    是否有任何配置可以指示在批量加载(completebulkload)写入3个或更多HFile时立即触发小压缩,而不考虑HFile的大小?

    Hbase版本:Hbase 1.1.2.2.6.5.4-1

    Configuration:
       hbase.hstore.compaction.max = 10
       hbase.hstore.compactionThreshold = 3
       hbase.server.thread.wakefrequency = 10000
    
    0 回复  |  直到 6 年前