创建 Logstash 管道

编辑

创建 Logstash 管道编辑

您可以通过将插件(输入输出过滤器,有时还有 编解码器)串联起来以处理数据来创建管道。要构建 Logstash 管道,请创建一个配置文件以指定要使用的插件以及每个插件的设置。

一个非常基本的管道可能只包含一个输入和一个输出。大多数管道至少包含一个过滤器插件,因为这是 ETL(提取、转换、加载)魔法的“转换”部分发生的地方。您可以在管道中引用事件字段,并使用条件语句在事件满足特定条件时对其进行处理。

让我们逐步介绍如何在本地机器上创建一个简单的管道配置,然后使用它来运行 Logstash。创建一个名为“logstash-simple.conf”的文件,并将其保存在与 Logstash 相同的目录中。

input { stdin { } }
output {
  elasticsearch { cloud_id => "<cloud id>" api_key => "<api key>" }
  stdout { codec => rubydebug }
}

然后,运行 Logstash 并使用 -f 标志指定配置文件。

bin/logstash -f logstash-simple.conf

瞧!Logstash 读取指定的配置文件并输出到 Elasticsearch 和标准输出。在我们继续讨论更复杂的示例之前,让我们看一下管道配置文件中的内容。