编辑摄取管道

在大多数情况下，在将数据摄取到 Elastic Stack 之前，需要对数据进行处理。例如，在摄取之前，您应该将日志解析为结构化数据。为此，集成使用 摄取管道 。

注意

摄取管道允许您在索引之前对数据执行常见的转换。例如，您可以使用管道删除字段、从文本中提取值并丰富您的数据。

管道由一系列可配置的任务组成，这些任务称为处理器。每个处理器按顺序运行，对传入的文档进行特定的更改。处理器运行后，Elasticsearch 会将转换后的文档添加到您的数据流或索引中。

在摄取管道参考中了解更多信息。

摄取管道在 elasticsearch/ingest_pipeline 目录中定义。它们仅适用于它们所驻留的父数据流。对于我们的示例，这将是 apache.access 数据集。

		apache
└───data_stream
│   └───access
│   │   └───elasticsearch/ingest_pipeline
│   │          default.yml
│   └───error
│   └───status

	

Apache 集成的访问日志数据流的摄取管道定义

摄取管道定义需要描述和处理器数组。以下是访问日志摄取管道的代码片段

		description: "Pipeline for parsing Apache HTTP Server access logs."
processors:
- set:
    field: event.ingested
    value: '{{_ingest.timestamp}}'
- rename:
    field: message
    target_field: event.original
- remove:
    field: apache.access.time
    ignore_failure: true

	

打开为每个数据流创建的每个 elasticsearch/ingest_pipeline/default.yml 文件。编辑每个摄取管道以满足您的需求。

处理器参考提供了所有可用处理器及其配置的列表。