代码之家 › 专栏 › 技术社区 › Fizi

Kafka连接转换:从json字段中提取一个长值并插入为键

apache-kafka-connect transform apache-kafka jdbc

Fizi · 技术社区 · 6 年前

{"APP_SETTING_ID":9,"APP_SETTING_NAME":"my_name","SETTING_KEY":"my_setting_key"}

这是我的连接器文件

name=data.app_setting
connector.class=io.confluent.connect.jdbc.JdbcSourceConnector
poll.interval.ms=500
tasks.max=4
mode=timestamp
query=SELECT APP_SETTING_ID, APP_SETTING_NAME, SETTING_KEY,FROM MY_TABLE with (nolock)
timestamp.column.name=LAST_MOD_DATE
topic.prefix=data.app_setting

key.converter=org.apache.kafka.connect.json.JsonConverter
key.converter.schemas.enable=false
value.converter=org.apache.kafka.connect.json.JsonConverter
value.converter.schemas.enable=false

transforms=InsertKey
transforms.InsertKey.type=org.apache.kafka.connect.transforms.ValueToKey
transforms.InsertKey.fields=APP_SETTING_ID

这确实添加了一个键,但它也是一个json格式,比如

{"APP_SETTING_ID":9}

我只想把9当作钥匙而不是地图。在数据库中,它作为长值存储。

1 回复 | 直到 6 年前

OneCricketeer Gabriele Mariotti 6 年前

ValueToKey 获取值中的字段列表,并返回这些字段到其值的映射。

我认为你需要第二次变换来只提取这些字段中的一个。

transforms=ReplaceKey,ExtractKey

# Replaces the key with fields in the value. Creates a map for all listed fields
transforms.ReplaceKey.type=org.apache.kafka.connect.transforms.ValueToKey
transforms.ReplaceKey.fields=APP_SETTING_ID

# Extracts a specfic field from the key, assuming it's a map/struct type
transforms.ExtractKey.type=org.apache.kafka.connect.transforms.ExtractField$Key
transforms.ExtractKey.field=APP_SETTING_ID

推荐文章

geany_tab_title_color · 如何将4个div围绕一个中心div?

3 年前

Martin Fric · 使用变换时,Div容器仍保持原始图像大小的大小

7 年前

Niko · 边框css更改速度快于变换旋转

7 年前

Leon1988 · 标题中多行的斜边

7 年前

Levi · 如何使用jq将多个输出对象组合成单个对象

7 年前

Mose · SVG变换:根据X缩放Y

7 年前

spoilerd do · 统一变换。前进是不断变化的

7 年前

Paul · 悬停时变换比例不缩放

7 年前

listener · 在Python中创建音频文件的振幅与频谱图

7 年前

Pep · Matlab-Hough变换中的帧线

7 年前