添加 Nomad 元数据编辑

此功能处于技术预览阶段,可能会在将来的版本中更改或删除。Elastic 将努力解决任何问题,但技术预览中的功能不受官方 GA 功能的支持 SLA 的约束。

add_nomad_metadata 处理器添加包含与在 Nomad 中部署的应用程序相关的元数据的字段。

每个事件都使用以下信息进行注释

  • 分配名称、标识符和状态。
  • 作业名称和类型。
  • 部署作业的命名空间。
  • 运行分配的代理所在的 Datacenter 和区域。
processors:
  - add_nomad_metadata: ~

它具有以下设置来配置连接

地址
(可选) 用于请求元数据的代理 API 的 URL。默认情况下使用 http://127.0.0.1:4646
命名空间
(可选) 要观察的命名空间。如果设置,则仅为该命名空间中的分配注释事件。
区域
(可选) 要观察的区域。如果设置,则仅为该区域中的分配注释事件。
secret_id
(可选) 连接到代理 API 时使用的 SecretID。这是一个示例 ACL 策略,可应用于令牌。
namespace "*" {
  policy = "read"
}
node {
  policy = "read"
}
agent {
  policy = "read"
}
refresh_interval
(可选) 用于更新缓存元数据的间隔。默认值为 30 秒。
cleanup_timeout
(可选) 分配删除后,等待清理其关联资源的时间。如果您期望在分配删除后收到事件,这将非常有用,这在收集日志时可能会发生。默认值为 60 秒。

您可以决定 Metricbeat 是否应注释与本地节点或整个集群中的分配相关的事件,并使用以下设置配置范围

范围
(可选) 要观察的资源范围。它可以是 node,仅获取单个代理中的分配的元数据,或者 global,获取在任何代理上运行的分配的元数据。默认值为 node
节点
(可选) 当使用 scope: node 时,使用 node 指定本地节点的名称(如果无法自动发现)。

例如,如果 Metricbeat 正在从集群中的所有分配收集事件,则可以使用以下配置

processors:
  - add_nomad_metadata:
      scope: global

索引器和匹配器编辑

索引器和匹配器用于将事件中的字段与实际元数据关联起来。Metricbeat 使用此信息来了解在每个事件中包含哪些元数据。

索引器编辑

索引器使用分配元数据为每个 Pod 创建唯一的标识符。

可用的索引器为:allocation_name:: 通过其名称和命名空间标识分配(如 <namespace>/<name>allocation_uuid:: 通过其唯一标识符标识分配。

匹配器编辑

匹配器用于构造与索引创建的标识符匹配的查找键。

field_format编辑

使用一个包含事件字段的字符串格式创建的键来查找分配元数据。

此匹配器有一个选项 format 用于定义字符串格式。此字符串格式可以包含事件中任何字段的占位符。

例如,以下配置使用 allocation_name 索引器通过其名称和命名空间来标识分配元数据,并使用事件中存在的自定义字段作为匹配键

processors:
- add_nomad_metadata:
    ...
    default_indexers.enabled: false
    default_matchers.enabled: false
    indexers:
      - allocation_name:
    matchers:
      - field_format:
          format: '%{[labels.nomad_namespace]}/%{[fields.nomad_alloc_name]}'

fields编辑

使用一些特定字段的值作为键来查找分配元数据。当定义多个字段时,将使用事件中包含的第一个字段。

此匹配器有一个选项 lookup_fields 用于定义将用于查找的字段的值。

例如,以下配置使用 allocation_uuid 索引器来标识分配,并定义一个匹配器,该匹配器使用一些字段(其中可能找到分配 UUID)进行查找,即它在事件中找到的第一个字段

processors:
- add_nomad_metadata:
    ...
    default_indexers.enabled: false
    default_matchers.enabled: false
    indexers:
      - allocation_uuid:
    matchers:
      - fields:
          lookup_fields: ['host.name', 'fields.nomad_alloc_uuid']