使用摄取管道解析数据
编辑使用摄取管道解析数据
编辑当您使用 Elasticsearch 作为输出时,您可以配置 Winlogbeat 使用摄取管道来预处理文档,然后再在 Elasticsearch 中进行实际索引。当您想对数据进行一些额外处理,但不需要 Logstash 的全部功能时,摄取管道是一个方便的处理选项。例如,您可以在 Elasticsearch 中创建一个摄取管道,该管道包含一个处理器,用于删除文档中的字段,然后是另一个处理器,用于重命名字段。
在 Elasticsearch 中定义管道后,您只需配置 Winlogbeat 使用该管道。要配置 Winlogbeat,您需要在 winlogbeat.yml
文件中的 elasticsearch
下的 parameters
选项中指定管道 ID
output.elasticsearch: hosts: ["localhost:9200"] pipeline: my_pipeline_id
例如,假设您在名为 pipeline.json
的文件中定义了以下管道
{ "description": "Test pipeline", "processors": [ { "lowercase": { "field": "agent.name" } } ] }
要在 Elasticsearch 中添加管道,您需要运行
curl -H 'Content-Type: application/json' -XPUT 'https://127.0.0.1:9200/_ingest/pipeline/test-pipeline' [email protected]
然后在 winlogbeat.yml
文件中,您需要指定
output.elasticsearch: hosts: ["localhost:9200"] pipeline: "test-pipeline"
当您运行 Winlogbeat 时,agent.name
的值在索引之前会转换为小写。
有关定义预处理管道的更多信息,请参阅摄取管道文档。