使用 Ingest Pipeline 解析数据
编辑使用 Ingest Pipeline 解析数据
编辑Ingest Pipeline 在索引 APM 文档之前对其进行预处理和丰富。例如，一个 Pipeline 可以定义一个删除字段的处理器、一个转换字段的处理器和一个重命名字段的处理器。
默认的 APM Pipeline 定义在 Elasticsearch apm-data 插件索引模板中。然后，Elasticsearch 使用这些索引模板中的索引模式将 Pipeline 与 APM 数据流匹配。
自定义 Ingest Pipeline
编辑Elastic APM 支持自定义 Ingest Pipeline。自定义 Pipeline 允许您转换数据以更好地匹配您的特定用例。例如，这对于通过删除或模糊处理敏感信息来确保数据安全非常有用。
每个数据流都带有一个默认 Pipeline。此默认 Pipeline 调用一个最初不存在且非版本化的 "@custom" Ingest Pipeline。如果未创建，则此 Pipeline 对您的数据没有任何影响。但是，如果使用，此 Pipeline 可用于自定义数据处理、添加字段、清理数据等等。
此外，Ingest Pipeline 也可用于将应用程序指标 (metrics-apm.app.*) 指向具有不同数据集的数据流，例如，组合两个应用程序的指标。目前不支持将其他 APM 数据发送到备用数据流，例如跟踪 (traces-apm.*)、日志 (logs-apm.*) 和内部指标 (metrics-apm.internal*)。
@custom Ingest Pipeline 命名约定
编辑@custom Pipeline 针对每个数据流都是特定的，并遵循类似的命名约定：<type>-<dataset>@custom。提醒一下，默认的 APM 数据流是
- 应用程序跟踪：
traces-apm-<namespace> - RUM 和 iOS 代理应用程序跟踪：
traces-apm.rum-<namespace> - APM 内部指标：
metrics-apm.internal-<namespace> - APM 事务指标：
metrics-apm.transaction.<metricset.interval>-<namespace> - APM 服务目标指标：
metrics-apm.service_destination.<metricset.interval>-<namespace> - APM 服务事务指标：
metrics-apm.service_transaction.<metricset.interval>-<namespace> - APM 服务汇总指标：
metrics-apm.service_summary.<metricset.interval>-<namespace> - 应用程序指标：
metrics-apm.app.<service.name>-<namespace> - APM 错误/异常日志：
logs-apm.error-<namespace> - 应用程序 UI 日志：
logs-apm.app.<service.name>-<namespace>
要将自定义 Ingest Pipeline 与数据流匹配，请遵循 <type>-<dataset>@custom 模板，或在上表中将 -namespace 替换为 @custom。例如，要定位应用程序跟踪，您可以创建一个名为 traces-apm@custom 的 Pipeline。
@custom Pipeline 可以直接包含处理器，也可以使用 Pipeline 处理器来调用可以在多个数据流或集成之间共享的其他 Pipeline。@custom Pipeline 将在所有版本升级中持久存在。
创建 @custom Ingest Pipeline
编辑创建自定义 Ingest Pipeline 的过程如下
- 创建一个包含特定于您的用例的处理器的 Pipeline
- 将新创建的 Pipeline 添加到与 APM 数据流匹配的
@customPipeline
如果您需要更多指导，请参阅以下教程之一
-
创建 Ingest Pipeline 过滤器 — 了解如何模糊处理存储在
http.request.body.original字段中的密码。 - APM 数据流重新路由 — 了解如何将 APM 数据重新路由到用户定义的 APM 数据流。