Azure eventhub 输入
编辑Azure eventhub 输入编辑
用户可以使用 azure-eventhub
输入来读取来自 azure eventhub 的消息。azure-eventhub 输入实现基于事件处理器主机(EPH 旨在跨多个进程和机器运行,同时负载均衡消息消费者,更多信息请参阅此处 https://github.com/Azure/azure-event-hubs-go#event-processor-host, https://docs.microsoft.com/en-us/azure/event-hubs/event-hubs-event-processor-host)。使用 Azure 存储容器在接收器之间共享状态,例如分区上的租约和事件流中的检查点。因此,作为使用此输入的先决条件,用户必须创建或使用现有的存储帐户。
配置示例
filebeat.inputs: - type: azure-eventhub eventhub: "insights-operational-logs" consumer_group: "test" connection_string: "Endpoint=sb://....." storage_account: "azureeph" storage_account_key: "....." storage_account_container: "" resource_manager_endpoint: ""
配置选项编辑
azure-eventhub
输入支持以下配置
eventhub
编辑
用户希望从中读取的 eventhub 的名称,必填字段。
consumer_group
编辑
可选,我们建议为 azure 输入使用专用的消费者组。在不相关的消费者之间重复使用消费者组会导致意外行为,并可能丢失事件。
connection_string
编辑
与 Event Hubs 通信所需的连接字符串,步骤如下 https://docs.microsoft.com/en-us/azure/event-hubs/event-hubs-get-connection-string。
需要一个 Blob 存储帐户来存储/检索/更新 eventhub 消息的偏移量或状态。这意味着在停止 filebeat 后,它可以在停止处理消息的位置重新启动。
storage_account
编辑
存储帐户的名称。必填。
storage_account_key
编辑
存储帐户密钥,此密钥将用于授权访问存储帐户中的数据,此选项是必需的。
storage_account_container
编辑
可选,您希望在其中存储偏移量信息的存储帐户容器的名称。
resource_manager_endpoint
编辑
可选,默认情况下我们使用的是 azure 公共环境,要覆盖它,用户可以提供特定的资源管理器端点以使用不同的 azure 环境。例如:https://management.chinacloudapi.cn/ 用于 azure 中国云,https://management.microsoftazure.de/ 用于 azure 德国云,https://management.azure.com/ 用于 azure 公共云,https://management.usgovcloudapi.net/ 用于 azure 美国政府云。用户也可以在混合云模型的情况下使用它,在混合云模型中,用户可以定义自己的端点。
指标编辑
此输入在 HTTP 监控端点 下公开指标。这些指标在 /inputs
路径下公开。它们可用于观察输入的活动。
指标 | 描述 |
---|---|
|
从事件中心接收到的消息数。 |
|
从事件中心接收到的字节数。 |
|
已成功清理的消息数。 |
|
已成功处理的消息数。 |
|
解码消息时接收到的事件数。 |
|
已成功发送的事件数。 |
|
以纳秒为单位的已用处理时间的直方图。 |
|
解码消息时发生的错误数。 |