创建 Logstash 管道

编辑

创建 Logstash 管道

编辑

您可以通过将插件串联起来创建管道——输入输出过滤器,有时还包括编解码器——以便处理数据。要构建 Logstash 管道,请创建一个配置文件来指定您要使用的插件以及每个插件的设置。

一个非常基本的管道可能只包含一个输入和一个输出。大多数管道至少包含一个过滤器插件,因为这是 ETL(提取、转换、加载)魔术中“转换”部分发生的地方。您可以在管道中引用事件字段,并在事件满足特定条件时使用条件来处理事件。

让我们逐步在您的本地机器上创建一个简单的管道配置,然后使用它来运行 Logstash。创建一个名为“logstash-simple.conf”的文件,并将其保存在与 Logstash 相同的目录中。

input { stdin { } }
output {
  elasticsearch { cloud_id => "<cloud id>" api_key => "<api key>" }
  stdout { codec => rubydebug }
}

然后,运行 Logstash 并使用 -f 标志指定配置文件。

bin/logstash -f logstash-simple.conf

瞧!Logstash 读取指定的配置文件并输出到 Elasticsearch 和 stdout。在继续查看更复杂的示例之前,让我们看看管道配置文件中包含的内容。