代码之家 › 专栏 › 技术社区 › Raman

卡夫卡流:RocksDBConfigSetter参数化

apache-kafka-streams apache-kafka

Raman · 技术社区 · 6 年前

如果我们有一个实现RocksDBConfigSetter的类,那么如何将参数值(例如blockCache、blockSize、writeBufferSize、maxwritebuffer)传递给该类。

streamsConfig.put(streamsConfig.ROCKSDB_CONFIG_SETTER_CLASS_CONFIG,MyRocksDBConfig.CLASS);

另外,在storeBuilder上设置withCachingDisabled()与设置withCachingEnabled()之间有什么区别,但是将缓存最大字节缓冲配置设置为0吗?

1 回复 | 直到 6 年前

Matthias J. Sax 6 年前

RocksDBConfigSetter 在文档中描述: https://docs.confluent.io/current/streams/developer-guide/config-streams.html#rocksdb-config-setter

public static class CustomRocksDBConfig implements RocksDBConfigSetter {

   @Override
   public void setConfig(final String storeName, final Options options, final Map<String, Object> configs) {
     BlockBasedTableConfig tableConfig = new org.rocksdb.BlockBasedTableConfig();
     tableConfig.setBlockCacheSize(16 * 1024 * 1024L);
     tableConfig.setBlockSize(16 * 1024L);
     tableConfig.setCacheIndexAndFilterBlocks(true);
     options.setTableFormatConfig(tableConfig);
     options.setMaxWriteBufferNumber(2);
   }
}

另外,在storeBuilder上设置withCachingDisabled()与设置withCachingEnabled()之间有什么区别,但是将缓存最大字节缓冲配置设置为0吗?

注意,这将在下一版本中修复: https://issues.apache.org/jira/browse/KAFKA-6998

推荐文章

yershalom · 同一消费群体中具有不同分区数量的不同卡夫卡主题

2 年前

Oskars Apinis · 将kafka从服务器迁移到docker容器

3 年前

Sravan Kumar · Apache kafka模式注册表问题

3 年前

Panadol Chong · 无法建立到节点1(localhost/127.0.0.1:9092)的连接。经纪人可能不在。甚至传入正确的端点[重复]

3 年前

MrSham · 如何确保旧版本0.10.0在卡夫卡中只处理一次

3 年前

TheTags · Kafka-PLC4X-Modbus/TCP-作业刮取期间异常

3 年前

Iheb Mar · 卡夫卡制作人/消费者粉碎每一秒的API调用

3 年前

hasherBaba · 在为Nifi编写流媒体服务时,如何解决Java的空指针异常?[闭门]

6 年前

phaigeim · 为storm consumer检查卡夫卡主题的偏移量

6 年前

Raman · Kafka流:POJO序列化/反序列化

6 年前