使用 Ingest Pipeline 解析数据
Elastic Stack
Ingest Pipeline 在索引 APM 文档之前对其进行预处理和丰富。例如，一个 pipeline 可能定义一个用于删除字段的处理器，一个用于转换字段的处理器，以及另一个用于重命名字段的处理器。
默认的 APM pipeline 在 Elasticsearch apm-data 插件索引模板中定义。然后，Elasticsearch 使用这些索引模板中的索引模式来匹配 pipeline 到 APM 数据流。
Elastic APM 支持自定义 Ingest Pipeline。自定义 pipeline 允许您转换数据，以便更好地匹配您的特定用例。例如，这对于通过删除或混淆敏感信息来确保数据安全非常有用。
每个数据流都附带一个默认 pipeline。此默认 pipeline 调用最初不存在且未版本化的“@custom”Ingest Pipeline。如果未创建，此 pipeline 对您的数据没有影响。但是，如果使用，此 pipeline 可用于自定义数据处理、添加字段、清理数据等。
此外，Ingest Pipeline 还可用于将应用程序指标 (metrics-apm.app.*) 指向具有不同数据集的数据流，例如，将两个应用程序的指标组合在一起。目前不支持将其他 APM 数据发送到备用数据流，例如 traces (traces-apm.*)、logs (logs-apm.*) 和内部指标 (metrics-apm.internal*)。
@custom pipeline 特定于每个数据流，并遵循类似的命名约定：<type>-<dataset>@custom。提醒一下，默认的 APM 数据流是
- 应用程序跟踪:
traces-apm-<namespace> - RUM 和 iOS 代理应用程序跟踪（仅限 Elastic Stack）：
traces-apm.rum-<namespace> - APM 内部指标：
metrics-apm.internal-<namespace> - APM 事务指标：
metrics-apm.transaction.<metricset.interval>-<namespace> - APM 服务目标指标：
metrics-apm.service_destination.<metricset.interval>-<namespace> - APM 服务事务指标：
metrics-apm.service_transaction.<metricset.interval>-<namespace> - APM 服务摘要指标：
metrics-apm.service_summary.<metricset.interval>-<namespace> - 应用程序指标：
metrics-apm.app.<service.name>-<namespace> - APM 错误/异常日志记录：
logs-apm.error-<namespace> - 应用程序 UI 日志记录：
logs-apm.app.<service.name>-<namespace>
要将自定义 Ingest Pipeline 与数据流匹配，请遵循 <type>-<dataset>@custom 模板，或将上表中的 -namespace 替换为 @custom。例如，要定位应用程序跟踪，您需要创建一个名为 traces-apm@custom 的 pipeline。
@custom pipeline 可以直接包含处理器，或者您可以使用 pipeline 处理器来调用可以在多个数据流或集成之间共享的其他 pipeline。@custom pipeline 将在所有版本升级中保持不变。
创建自定义 Ingest Pipeline 的过程如下：
- 创建一个具有特定于您的用例的处理器的 pipeline
- 将新创建的 pipeline 添加到与 APM 数据流匹配的
@custompipeline
如果您更喜欢更多指导，请参阅以下教程之一：
- Ingest Pipeline 过滤器 — 了解如何混淆存储在
http.request.body.original字段中的密码。 - APM 数据流重定向 — 了解如何将 APM 数据重定向到用户定义的 APM 数据流。