Azure 事件中心输入

编辑

用户可以使用 azure-eventhub 输入从 Azure 事件中心读取消息。 Azure 事件中心输入的实现基于事件处理器主机(EPH 旨在跨多个进程和计算机运行,同时负载均衡消息消费者,更多信息请访问 https://github.com/Azure/azure-event-hubs-go#event-processor-host, https://docs.microsoft.com/en-us/azure/event-hubs/event-hubs-event-processor-host)。分区上的租约和事件流中的检查点等状态使用 Azure 存储容器在接收器之间共享。因此,作为使用此输入的前提,用户必须创建或使用现有的存储帐户。

用户可以通过设置环境变量 BEATS_AZURE_EVENTHUB_INPUT_TRACING_ENABLED: true 来启用此输入的内部日志跟踪。启用后,此输入会将其他信息记录到日志中。其他信息包括分区所有权、Blob 租约信息和其他内部状态。

配置示例

filebeat.inputs:
- type: azure-eventhub
  eventhub: "insights-operational-logs"
  consumer_group: "test"
  connection_string: "Endpoint=sb://....."
  storage_account: "azureeph"
  storage_account_key: "....."
  storage_account_container: ""
  resource_manager_endpoint: ""

配置选项

编辑

azure-eventhub 输入支持以下配置:

eventhub

编辑

用户想要从中读取的事件中心的名称,此字段为必填项。

consumer_group

编辑

可选,我们建议为 Azure 输入使用专用的消费者组。在不相关的消费者之间重用消费者组可能会导致意外行为,并可能丢失事件。

connection_string

编辑

与事件中心通信所需的连接字符串,步骤请参考 https://docs.microsoft.com/en-us/azure/event-hubs/event-hubs-get-connection-string

需要 Blob 存储帐户才能存储/检索/更新事件中心消息的偏移量或状态。这意味着在停止 Filebeat 后,它可以从停止处理消息的位置重新启动。

storage_account

编辑

存储帐户的名称。 必填。

storage_account_key

编辑

存储帐户密钥,此密钥将用于授权访问存储帐户中的数据,此选项为必填项。

storage_account_container

编辑

可选,您希望在其中存储偏移量信息的存储帐户容器的名称。

resource_manager_endpoint

编辑

可选,默认情况下,我们使用 Azure 公共环境,要覆盖此默认设置,用户可以提供特定的资源管理器端点,以便使用不同的 Azure 环境。例如:https://management.chinacloudapi.cn/ 用于 Azure 中国云,https://management.microsoftazure.de/ 用于 Azure 德国云,https://management.azure.com/ 用于 Azure 公共云,https://management.usgovcloudapi.net/ 用于 Azure 美国政府云。用户也可以在混合云模型中使用此项,在这种模型中,用户可以定义自己的端点。

指标

编辑

此输入在 HTTP 监控端点下公开指标。这些指标在 /inputs 路径下公开。它们可用于观察输入的活动。

指标 描述

received_messages_total

从事件中心收到的消息总数。

received_bytes_total

从事件中心收到的字节总数。

sanitized_messages_total

已成功清理的消息总数。

processed_messages_total

已成功处理的消息总数。

received_events_total

接收解码消息的事件总数。

sent_events_total

已成功发送的事件总数。

processing_time

以纳秒为单位的已用处理时间的直方图。

decode_errors_total

解码消息时发生的错误总数。