代码之家 › 专栏 › 技术社区 › Robin Sun

当日志源是一个文件时,Logstash如何判断LogFie中哪一行是新的?

elastic-stack logstash

Robin Sun · 技术社区 · 7 年前

它是部署在docker中的SpringBoot网站,ELK用作日志堆栈。Logstash的数据源是website.log。

我检查了Kibana的日志,我发现日志是以线路为单位的。

Logstash监视website.log文件并从中读取内容作为数据源。

虽然文件中有很多旧的行,但我想知道当website.log文件中出现新行时,Logstash如何辨别哪一行是新的,并且只将新行发送到ElasticSearch?

2 回复 | 直到 7 年前

ben5556 7 年前

Logstash跟踪其配置为监视的文件中的当前位置。看到这个了吗 link

scarvish 7 年前

here . 我认为您看到的是终端配置,您只想读取进入日志的实时数据流。

此外,在匹配时间的同时,您可以使用事件的时间戳覆盖时间戳,该时间戳是记录在日志中的时间戳(如果存在);和 date 滤器这样,您就可以调试它是否正在读取当前行或旧行。

推荐文章

flalar · 从SQL转换为elasticsearch查询

8 年前

CrizR · 如何使用logstash和elastic配置本机python日志库?

8 年前

Shivanshu Bagga · 在logstash中加密/保护Elasticsearch的密码。conf文件

8 年前

ngi · Logstash 6.0.0:elasticsearch的未知设置–索引类型

8 年前

krock1516 · 无法接收syslog日志。删除和替换函数的配置

8 年前

TheHorizon · ELK:设置logstash ELK堆栈的多个http输入

8 年前

Livioso · Logstash with Google PubSub输入插件错误:证书验证失败

9 年前

Mrin · #<Sequel::jdbc::数据库:0 x764acb8b>

9 年前

Venkat · Logstash在Windows 10中不工作

9 年前

loki · 如何使用logstash制作索引json文件?

9 年前