代码之家  ›  专栏  ›  技术社区  ›  Tony Laidig

为什么ElasticSearch不接受logstash所做的grok模式?

  •  0
  • Tony Laidig  · 技术社区  · 8 年前

    我有下面的grok模式,可以在logstash和kibana的grok调试器中使用。

    \[%{TIMESTAMP_ISO8601:req_time}\] %{IP:client_ip} (?:%{IP:forwarded_for}|\(-\)) (?:%{QS:request}|-) %{NUMBER:response_code:int} %{WORD}:%{NUMBER:request_length:int} %{WORD}:%{NUMBER:body_bytes_sent:int} %{WORD}:(?:%{QS:http_referer}|-) %{WORD}:(?:%{QS:http_user_agent}|-) (%{WORD}:(\")?(%{NUMBER:request_time:float})(\")?)?"
    

    我试图通过Put方法创建一个新的摄取管道,但我得到一个错误,其中包含:

        "type": "parse_exception",
        "reason": "Failed to parse content to map",
        "caused_by": {
            "type": "i_o_exception",
            "reason": "Unrecognized character escape '[' (code 91)\n at [Source: org.elasticsearch.common.bytes.BytesReference$MarkSupportingStreamInputWrapper@61326735; line: 7, column: 25]"
        } 
    
    1 回复  |  直到 8 年前
        1
  •  1
  •   Tony Laidig    8 年前

    ElasticSearch要求使用Put方法提交的管道中使用的grok模式正确地转义json,而logstash模式使用不同的转义。

    包括前面带双反斜杠的括号( \\[ )带三个反斜杠的双引号( \\\" )工作模式(在运行JSON转义工具之后)是:

    \\[%{TIMESTAMP_ISO8601:req_time}\\] %{IP:client_ip} (?:%{IP:forwarded_for}|\\(-\\)) (?:%{QS:request}|-) %{NUMBER:response_code:int} %{WORD}:%{NUMBER:request_length:int} %{WORD}:%{NUMBER:body_bytes_sent:int} %{WORD}:(?:%{QS:http_referer}|-) %{WORD}:(?:%{QS:http_user_agent}|-) (%{WORD}:(\\\")?(%{NUMBER:request_time:float})(\\\")?)?