代码之家 › 专栏 › 技术社区 › Hat hout

LOGSTASH:如何设置LOGSTASH以获取所有查询的数据,而不仅仅是其中的一部分?

logstash-jdbc logstash-configuration logstash elasticsearch postgresql

0

Hat hout · 技术社区 · 4 年前

我有一个包含400多条记录的数据库表,但每次我使用logstash和JDBC,它只得到126条记录。我尝试了很多次,每次都使用不同的索引,但仍然只能检索126。

以下是输出配置:

input {
    jdbc {
        -
        -
        jdbc_driver_class => "org.postgresql.Driver"
        statement => "SELECT * from xfailure"
    }
}
output {
elasticsearch {
   hosts => ["localhost:9200"]
   manage_template => false
   index => "test_predictions"
   document_id => "%{id}"
}
}

当我检查行数时,我发现它有400多条记录,这里是选择语句:

SELECT * FROM xfailure;

以下是记录列的示例:

id|modified|x_url|x_id|correlation_id|links|code|description|explanation|tr_id

当我在Kibanna上创建索引时,我使用时间戳作为时间字段,但点击次数只有162次!

0 回复 | 直到 4 年前

1

0

Hat hout 4 年前

我找到了一个解决方案,通过更改sql查询来指定每个字段:

SELECT * FROM xfailure;

到

SELECT field_1 as field_1, field_2 as field_2 FROM xfailure;

现在它工作得很好。