编辑摄取管道

在大多数情况下，在将数据摄取到 Elastic Stack 之前，需要对数据进行处理。例如，您应该在摄取之前将日志解析为结构化数据。为此，集成使用 摄取管道。

摄取管道定义在 elasticsearch/ingest_pipeline 目录中。它们仅适用于其所在的父数据流。对于我们的示例，这将是 apache.access 数据集。

例如，Apache 集成

apache
└───data_stream
│   └───access
│   │   └───elasticsearch/ingest_pipeline
│   │          default.yml 
│   └───error
│   └───status

摄取管道定义需要描述和处理器数组。以下是访问日志摄取管道的代码片段

description: "Pipeline for parsing Apache HTTP Server access logs."
processors:
- set:
    field: event.ingested
    value: '{{_ingest.timestamp}}'
- rename:
    field: message
    target_field: event.original
- remove:
    field: apache.access.time
    ignore_failure: true

打开为每个数据流创建的每个 elasticsearch/ingest_pipeline/default.yml 文件。编辑每个摄取管道以匹配您的需求。

处理器参考 提供了所有可用处理器及其配置的列表。