代码之家 › 专栏 › 技术社区 › Ashok Reddy

如何删除filebeat标记,如id、主机名、版本、grok\u失败消息

logstash-grok elastic-stack kibana logstash

1

Ashok Reddy · 技术社区 · 8 年前

我是新来的麋鹿我的样本日志是

2017-01-05T14:28:00 INFO zeppelin IDExtractionService transactionId abcdef1234 operation extractOCRData received request duration 12344 exception error occured

我的filebeat配置如下

filebeat.prospectors:
- input_type: log
  paths:
    - /opt/apache-tomcat-7.0.82/logs/*.log

document_type: apache-access
fields_under_root: true

output.logstash:
  hosts: ["10.2.3.4:5044"]

还有我的logstash过滤器。conf文件:

filter {
  grok {
    match => [ "message", "transactionId %{WORD:transaction_id} operation %{WORD:otype} received request duration %{NUMBER:duration} exception %{WORD:error}" ]
  }
}
filter {
    if "beats_input_codec_plain_applied" in [tags] {
        mutate {
            remove_tag => ["beats_input_codec_plain_applied"]
        }
    }
}

; 在kibana dashboard中,我可以看到如下日志输出

beat.name:
    ebb8a5ec413b
beat.hostname:
    ebb8a5ec413b
host:
    ebb8a5ec413b
tags:
beat.version:
    6.2.2
source:
    /opt/apache-tomcat-7.0.82/logs/IDExtraction.log
otype:
    extractOCRData
duration:
    12344
transaction_id:
    abcdef1234
@timestamp:
    April 9th 2018, 16:20:31.853
offset:
    805,655
@version:
    1
error:
    error
message:
    2017-01-05T14:28:00 INFO zeppelin IDExtractionService transactionId abcdef1234 operation extractOCRData received request duration 12344 exception error occured
_id:
    7X0HqmIBj3MEd9pqhTu9
_type:
    doc
_index:
    filebeat-2018.04.09
_score:
    6.315

第一个问题是如何删除filebeat标记,如id、主机名、版本、grok\u失败消息

2如何根据时间戳对日志进行排序,因为新生成的日志不会出现在kibana仪表板的顶部

3我的grok过滤器是否需要任何更改

1 回复 | 直到 8 年前

1

3

Sufiyan Ghori 8 年前

您可以删除 filebeat 通过设置 fields_under_root: false 在filebeat配置文件中。您可以阅读此选项 here 。

如果此选项设置为true,则自定义字段存储为输出文档中的顶级字段,而不是分组在字段子字典。如果自定义字段名称与其他字段名称冲突 Filebeat添加的字段名,自定义字段覆盖其他字段字段。

你可以检查一下 _grokparsefailure 在标签中使用, if "_grokparsefailure" in [tags] 然后用 remove_tag => ["_grokparsefailure"]

您的grok过滤器似乎正常。

希望有帮助。