Azure 事件中心输入
编辑Azure 事件中心输入
编辑Azure 事件中心输入集成是一种通用集成,允许您使用 Azure 事件中心从 Azure 服务收集日志类别。
azure-eventhub 输入使用 事件处理器主机。EPH 可以在多个进程和机器上运行,同时负载均衡消息消费者。有关此的更多信息,请参见 Azure event-hubs-go 文档和 Azure 事件处理器文档)。
EPH 状态(例如,分区上的租约和事件流中的检查点)在使用 Azure 存储容器的接收器之间共享。因此,用户必须创建或使用现有的存储帐户作为使用此输入的先决条件。
要求和设置
编辑有关设置和使用此集成的更多信息,请参阅 Azure 日志 页面。
设置
编辑eventhub
:字符串 这是一种完全托管的实时数据引入服务。Elastic 建议仅对事件中心名称使用字母、数字和连字符 (-) 以最大化兼容性。可以使用事件中心名称中带有下划线 (_) 的现有事件中心;在这种情况下,当集成使用事件中心名称在后台创建依赖的 Azure 资源时(例如,用于存储事件中心使用者偏移量的存储帐户容器),该集成会将下划线替换为连字符 (-)。Elastic 还建议为每种日志类型使用单独的事件中心,因为每种日志类型的字段映射都不同。
consumer_group
:字符串 事件中心的发布/订阅机制通过使用者组启用。使用者组是整个事件中心的视图(状态、位置或偏移量)。使用者组允许多个使用者应用程序各自拥有事件流的独立视图,并以自己的节奏和偏移量独立读取流。默认值:$Default
connection_string
:字符串 与事件中心通信所需的连接字符串,步骤在此处 https://docs.microsoft.com/zh-cn/azure/event-hubs/event-hubs-get-connection-string。
为了存储/检索/更新 eventhub 消息的偏移量或状态,需要一个 Blob 存储帐户。这意味着在停止 filebeat azure 模块后,它可以从停止处理消息的位置重新启动。
storage_account
:字符串 将存储和更新状态/偏移量的存储帐户的名称。
storage_account_key
:字符串 存储帐户密钥,此密钥将用于授权访问存储帐户中的数据。
storage_account_container
:字符串 集成存储使用者组的检查点数据的存储帐户容器。这是一个高级选项,使用时必须格外小心。您必须为每种 Azure 日志类型(活动、登录、审核日志等)使用专用的存储帐户容器。请勿对多个 Azure 日志类型重用相同的容器名称。有关 Microsoft 的命名规则的详细信息,请参阅 容器名称。如果未指定,集成将生成默认容器名称。
resource_manager_endpoint
:字符串 可选,默认情况下,我们使用 Azure 公共环境,要覆盖,用户可以提供特定的资源管理器终结点,以便使用不同的 Azure 环境。
资源管理器终结点
# Azure ChinaCloud https://management.chinacloudapi.cn/ # Azure GermanCloud https://management.microsoftazure.de/ # Azure PublicCloud https://management.azure.com/ # Azure USGovernmentCloud https://management.usgovcloudapi.net/
日志
编辑eventhub
编辑Azure 日志包的 eventhub
数据流将收集已通过 Azure 事件中心流传输的任何事件。
示例
eventhub
的示例事件如下所示
{ "@timestamp": "2021-10-18T12:31:17.027Z", "agent": { "ephemeral_id": "42a183d5-df19-4008-8776-d9765bc01d50", "hostname": "docker-fleet-agent", "id": "b659ebed-5338-45f3-9762-1bcf2c1ad0e1", "name": "docker-fleet-agent", "type": "filebeat", "version": "7.15.0" }, "azure-eventhub": { "consumer_group": "$Default", "enqueued_time": "2021-10-15T09:14:25.419Z", "eventhub": "insights-activity-logs", "offset": 274878093752, "sequence_number": 1215 }, "data_stream": { "dataset": "azure.eventhub", "namespace": "default", "type": "logs" }, "ecs": { "version": "8.11.0" }, "elastic_agent": { "id": "b659ebed-5338-45f3-9762-1bcf2c1ad0e1", "snapshot": true, "version": "7.15.0" }, "event": { "agent_id_status": "verified", "dataset": "azure.eventhub", "ingested": "2021-10-18T12:31:17Z", "kind": "event" }, "host": { "architecture": "x86_64", "containerized": true, "hostname": "docker-fleet-agent", "id": "6505f7ca36739e7eb909bdb52bf3ec18", "ip": [ "172.27.0.7" ], "mac": [ "02-42-AC-14-00-07" ], "name": "docker-fleet-agent", "os": { "codename": "Core", "family": "redhat", "kernel": "4.19.128-microsoft-standard", "name": "CentOS Linux", "platform": "centos", "type": "linux", "version": "7 (Core)" } }, "input": { "type": "azure-eventhub" }, "message": "{\\\"ReleaseVersion\\\":\\\"6.2021.39.11+d1f0e29.release_2021w39_az\\\",\\\"RoleLocation\\\":\\\"North Europe\\\",\\\"callerIpAddress\\\":\\\"77.170.179.229\\\",\\\"category\\\":\\\"Administrative\\\",\\\"correlationId\\\":\\\"a75a0752-ebbb-42bf-831f-43788a8c1193\\\",\\\"durationMs\\\":\\\"0\\\",\\\"identity\\\":{\\\"authorization\\\":{\\\"action\\\":\\\"Microsoft.ServiceBus\\\/namespaces\\\/delete\\\",\\\"evidence\\\":{\\\"principalId\\\":\\\"68b1adf93eb744b08eb8ce96522a08d3\\\",\\\"principalType\\\":\\\"User\\\",\\\"role\\\":\\\"Owner\\\",\\\"roleAssignmentId\\\":\\\"7f06f09dd6764b44930adbec3f10e92b\\\",\\\"roleAssignmentScope\\\":\\\"\\\/providers\\\/Microsoft.Management\\\/managementGroups\\\/5341238b-665c-4eb4-b259-b250371ae430\\\",\\\"roleDefinitionId\\\":\\\"8e3af657a8ff443ca75c2fe8c4bcb635\\\"},\\\"scope\\\":\\\"\\\/subscriptions\\\/7657426d-c4c3-44ac-88a2-3b2cd59e6dba\\\/resourcegroups\\\/obs-test\\\/providers\\\/Microsoft.ServiceBus\\\/namespaces\\\/testobs\\\"},\\\"claims\\\":{\\\"aio\\\":\\\"ATQAy\\\/8TAAAAgFUjNWoJWKgHlAK2AL92UMeUsb6VD5zck\\\/myDZPucX5V3Gc8SDMg5vTV28NUy5N7\\\",\\\"appid\\\":\\\"c44b4083-3bb0-49c1-b47d-974e53cbdf3c\\\",\\\"appidacr\\\":\\\"2\\\",\\\"aud\\\":\\\"https:\\\/\\\/management.core.windows.net\\\/\\\",\\\"exp\\\":\\\"1634290798\\\",\\\"groups\\\":\\\"644c6686-9ef1-4b69-9410-107664a9e1f0,9ed1993c-ce9c-4915-a04d-58c6f5f7ee12,a953f548-26ab-47b2-be7d-65586b7bcc2a\\\",\\\"http:\\\/\\\/schemas.microsoft.com\\\/2012\\\/01\\\/devicecontext\\\/claims\\\/identifier\\\":\\\"1060004c-63dc-465b-b868-ec6547176c58\\\",\\\"http:\\\/\\\/schemas.microsoft.com\\\/claims\\\/authnclassreference\\\":\\\"1\\\",\\\"http:\\\/\\\/schemas.microsoft.com\\\/claims\\\/authnmethodsreferences\\\":\\\"pwd,rsa\\\",\\\"http:\\\/\\\/schemas.microsoft.com\\\/identity\\\/claims\\\/objectidentifier\\\":\\\"68b1adf9-3eb7-44b0-8eb8-ce96522a08d3\\\",\\\"http:\\\/\\\/schemas.microsoft.com\\\/identity\\\/claims\\\/scope\\\":\\\"user_impersonation\\\",\\\"http:\\\/\\\/schemas.microsoft.com\\\/identity\\\/claims\\\/tenantid\\\":\\\"4fa94b7d-a743-486f-abcc-6c276c44cf4b\\\",\\\"http:\\\/\\\/schemas.xmlsoap.org\\\/ws\\\/2005\\\/05\\\/identity\\\/claims\\\/givenname\\\":\\\"Mariana\\\",\\\"http:\\\/\\\/schemas.xmlsoap.org\\\/ws\\\/2005\\\/05\\\/identity\\\/claims\\\/name\\\":\\\"[email protected]\\\",\\\"http:\\\/\\\/schemas.xmlsoap.org\\\/ws\\\/2005\\\/05\\\/identity\\\/claims\\\/nameidentifier\\\":\\\"a9L2WR3XZN5ANzAqwLx_4aamU49JG6kqaE5JZkXdeNs\\\",\\\"http:\\\/\\\/schemas.xmlsoap.org\\\/ws\\\/2005\\\/05\\\/identity\\\/claims\\\/surname\\\":\\\"Dima\\\",\\\"http:\\\/\\\/schemas.xmlsoap.org\\\/ws\\\/2005\\\/05\\\/identity\\\/claims\\\/upn\\\":\\\"[email protected]\\\",\\\"iat\\\":\\\"1634286898\\\",\\\"ipaddr\\\":\\\"77.170.179.229\\\",\\\"iss\\\":\\\"https:\\\/\\\/sts.windows.net\\\/4fa94b7d-a743-486f-abcc-6c276c44cf4b\\\/\\\",\\\"name\\\":\\\"Mariana Dima\\\",\\\"nbf\\\":\\\"1634286898\\\",\\\"puid\\\":\\\"1003200045B17AD4\\\",\\\"rh\\\":\\\"0.AVEAfUupT0Onb0irzGwnbETPS4NAS8SwO8FJtH2XTlPL3zxRAA8.\\\",\\\"uti\\\":\\\"yUcYeZwj9EWeA-rTCtRwAA\\\",\\\"ver\\\":\\\"1.0\\\",\\\"wids\\\":\\\"5d6b6bb7-de71-4623-b4af-96380a352509\\\",\\\"xms_tcdt\\\":\\\"1469565974\\\"}},\\\"level\\\":\\\"Information\\\",\\\"operationName\\\":\\\"MICROSOFT.SERVICEBUS\\\/NAMESPACES\\\/DELETE\\\",\\\"properties\\\":{\\\"entity\\\":\\\"\\\/subscriptions\\\/7657426d-c4c3-44ac-88a2-3b2cd59e6dba\\\/resourcegroups\\\/obs-test\\\/providers\\\/Microsoft.ServiceBus\\\/namespaces\\\/testobs\\\",\\\"eventCategory\\\":\\\"Administrative\\\",\\\"hierarchy\\\":\\\"4fa94b7d-a743-486f-abcc-6c276c44cf4b\\\/5341238b-665c-4eb4-b259-b250371ae430\\\/7657426d-c4c3-44ac-88a2-3b2cd59e6dba\\\",\\\"message\\\":\\\"Microsoft.ServiceBus\\\/namespaces\\\/delete\\\"},\\\"resourceId\\\":\\\"\\\/SUBSCRIPTIONS\\\/7657426D-C4C3-44AC-88A2-3B2CD59E6DBA\\\/RESOURCEGROUPS\\\/OBS-TEST\\\/PROVIDERS\\\/MICROSOFT.SERVICEBUS\\\/NAMESPACES\\\/TESTOBS\\\",\\\"resultSignature\\\":\\\"Started.\\\",\\\"resultType\\\":\\\"Start\\\",\\\"tenantId\\\":\\\"4fa94b7d-a743-486f-abcc-6c276c44cf4b\\\",\\\"time\\\":\\\"2021-10-15T09:08:29.9268177Z\\\"}\\r\\n", "tags": [ "azure-eventhub" ] }
ECS 字段参考
有关 ECS 字段的详细信息,请参阅以下文档。
导出的字段
字段 | 描述 | 类型 |
---|---|---|
@timestamp |
事件时间戳。 |
日期 |
azure-eventhub.consumer_group |
使用者组 |
关键字 |
azure-eventhub.enqueued_time |
排队时间。 |
关键字 |
azure-eventhub.eventhub |
事件中心名称。 |
关键字 |
azure-eventhub.offset |
偏移量 |
长整数 |
azure-eventhub.partition_id |
分区 ID |
关键字 |
azure-eventhub.sequence_number |
序列号 |
长整数 |
azure.correlation_id |
关联 ID |
关键字 |
azure.resource.authorization_rule |
授权规则 |
关键字 |
azure.resource.group |
资源组 |
关键字 |
azure.resource.id |
资源 ID |
关键字 |
azure.resource.name |
名称 |
关键字 |
azure.resource.namespace |
资源类型/命名空间 |
关键字 |
azure.resource.provider |
资源类型/命名空间 |
关键字 |
azure.subscription_id |
Azure 订阅 ID |
关键字 |
azure.tenant_id |
租户 ID |
关键字 |
cloud.image.id |
云实例的映像 ID。 |
关键字 |
data_stream.dataset |
数据流数据集名称。 |
常量关键字 |
data_stream.namespace |
数据流命名空间。 |
常量关键字 |
data_stream.type |
数据流类型。 |
常量关键字 |
event.module |
事件模块 |
常量关键字 |
geo.city_name |
城市名称。 |
关键字 |
geo.continent_name |
大陆的名称。 |
关键字 |
geo.country_iso_code |
国家/地区 ISO 代码。 |
关键字 |
geo.country_name |
国家/地区名称。 |
关键字 |
geo.location |
经度和纬度。 |
geo_point |
host.containerized |
如果主机是容器。 |
布尔值 |
host.os.build |
操作系统构建信息。 |
关键字 |
host.os.codename |
操作系统代码名(如果有)。 |
关键字 |
input.type |
输入类型 |
关键字 |
变更日志
编辑变更日志
版本 | 详细信息 | Kibana 版本 |
---|---|---|
1.20.1 |
错误修复 (查看拉取请求) |
8.13.0 或更高版本 |
1.20.0 |
增强 (查看拉取请求) |
8.13.0 或更高版本 |
1.19.4 |
错误修复 (查看拉取请求) |
8.13.0 或更高版本 |
1.19.3 |
错误修复 (查看拉取请求) |
8.13.0 或更高版本 |
1.19.2 |
错误修复 (查看拉取请求) |
8.13.0 或更高版本 |
1.19.1 |
错误修复 (查看拉取请求) |
8.13.0 或更高版本 |
1.18.0 |
增强 (查看拉取请求) |
8.13.0 或更高版本 |
1.17.0 |
增强 (查看拉取请求) |
8.13.0 或更高版本 |
1.16.0 |
增强 (查看拉取请求) |
8.13.0 或更高版本 |
1.15.1 |
错误修复 (查看拉取请求) |
8.13.0 或更高版本 |
1.15.0 |
增强 (查看拉取请求) |
8.13.0 或更高版本 |
1.14.0 |
增强 (查看拉取请求) |
8.13.0 或更高版本 |
1.13.1 |
增强 (查看拉取请求) |
8.13.0 或更高版本 |
1.13.0 |
增强 (查看拉取请求) |
8.13.0 或更高版本 |
1.12.0 |
增强 (查看拉取请求) 重大更改 (查看拉取请求) |
8.13.0 或更高版本 |
1.11.4 |
错误修复 (查看拉取请求) |
8.12.0 或更高版本 |
1.11.3 |
错误修复 (查看拉取请求) |
8.12.0 或更高版本 |
1.11.2 |
错误修复 (查看拉取请求) |
8.12.0 或更高版本 |
1.11.1 |
增强 (查看拉取请求) |
8.12.0 或更高版本 |
1.11.0 |
增强 (查看拉取请求) |
8.12.0 或更高版本 |
1.10.0 |
增强 (查看拉取请求) |
8.12.0 或更高版本 |
1.9.2 |
增强 (查看拉取请求) |
8.12.0 或更高版本 |
1.9.1 |
错误修复 (查看拉取请求) |
8.12.0 或更高版本 |
1.9.0 |
增强 (查看拉取请求) |
8.12.0 或更高版本 |
1.8.3 |
增强 (查看拉取请求) |
8.8.0 或更高版本 |
1.8.2 |
增强 (查看拉取请求) |
8.8.0 或更高版本 |
1.8.1 |
增强 (查看拉取请求) |
8.8.0 或更高版本 |
1.8.0 |
增强 (查看拉取请求) |
8.8.0 或更高版本 |
1.7.0 |
增强 (查看拉取请求) |
8.6.0 或更高版本 |
1.6.0 |
增强 (查看拉取请求) |
8.6.0 或更高版本 |
1.5.33 |
缺陷修复 (查看拉取请求) |
8.6.0 或更高版本 |
1.5.32 |
缺陷修复 (查看拉取请求) |
8.6.0 或更高版本 |
1.5.31 |
增强 (查看拉取请求) |
8.6.0 或更高版本 |
1.5.30 |
增强 (查看拉取请求) |
8.6.0 或更高版本 |
1.5.29 |
增强 (查看拉取请求) |
8.6.0 或更高版本 |
1.5.28 |
增强 (查看拉取请求) |
8.6.0 或更高版本 |
1.5.27 |
缺陷修复 (查看拉取请求) |
8.6.0 或更高版本 |
1.5.26 |
缺陷修复 (查看拉取请求) |
8.6.0 或更高版本 |
1.5.25 |
缺陷修复 (查看拉取请求) |
8.6.0 或更高版本 |
1.5.24 |
缺陷修复 (查看拉取请求) |
8.6.0 或更高版本 |
1.5.23 |
增强 (查看拉取请求) |
8.6.0 或更高版本 |
1.5.22 |
增强 (查看拉取请求) |
8.6.0 或更高版本 |
1.5.21 |
增强 (查看拉取请求) |
8.6.0 或更高版本 |
1.5.20 |
增强 (查看拉取请求) |
8.6.0 或更高版本 |
1.5.17 |
增强 (查看拉取请求) |
8.6.0 或更高版本 |
1.5.16 |
增强 (查看拉取请求) |
8.6.0 或更高版本 |
1.5.15 |
增强 (查看拉取请求) |
8.6.0 或更高版本 |
1.5.14 |
增强 (查看拉取请求) |
8.6.0 或更高版本 |
1.5.13 |
增强 (查看拉取请求) |
7.16.0 或更高版本 |
1.5.12 |
增强 (查看拉取请求) |
7.16.0 或更高版本 |
1.5.11 |
增强 (查看拉取请求) |
7.16.0 或更高版本 |
1.5.10 |
缺陷修复 (查看拉取请求) |
7.16.0 或更高版本 |
1.5.9 |
缺陷修复 (查看拉取请求) |
7.16.0 或更高版本 |
1.5.8 |
缺陷修复 (查看拉取请求) |
7.16.0 或更高版本 |
1.5.7 |
缺陷修复 (查看拉取请求) |
7.16.0 或更高版本 |
1.5.6 |
缺陷修复 (查看拉取请求) |
7.16.0 或更高版本 |
1.5.5 |
缺陷修复 (查看拉取请求) |
7.16.0 或更高版本 |
1.5.4 |
增强 (查看拉取请求) |
7.16.0 或更高版本 |
1.5.3 |
增强 (查看拉取请求) |
7.16.0 或更高版本 |
1.5.2 |
缺陷修复 (查看拉取请求) |
7.16.0 或更高版本 |
1.5.1 |
缺陷修复 (查看拉取请求) |
7.16.0 或更高版本 |
1.5.0 |
增强 (查看拉取请求) |
7.16.0 或更高版本 |
1.4.1 |
增强 (查看拉取请求) |
7.16.0 或更高版本 |
1.4.0 |
增强 (查看拉取请求) |
7.16.0 或更高版本 |
1.3.0 |
增强 (查看拉取请求) |
7.16.0 或更高版本 |
1.2.3 |
增强 (查看拉取请求) |
7.16.0 或更高版本 |
1.2.2 |
增强 (查看拉取请求) |
7.16.0 或更高版本 |
1.2.1 |
缺陷修复 (查看拉取请求) |
7.16.0 或更高版本 |
1.2.0 |
增强 (查看拉取请求) |
— |
1.1.11 |
缺陷修复 (查看拉取请求) |
— |
1.1.10 |
增强 (查看拉取请求) |
7.16.0 或更高版本 |
1.1.9 |
缺陷修复 (查看拉取请求) |
— |
1.1.8 |
增强 (查看拉取请求) |
7.16.0 或更高版本 |
1.1.7 |
错误修复 (查看拉取请求) |
7.16.0 或更高版本 |
1.1.6 |
错误修复 (查看拉取请求) 错误修复 (查看拉取请求) |
7.16.0 或更高版本 |
1.1.5 |
增强 (查看拉取请求) |
— |
1.1.4 |
错误修复 (查看拉取请求) |
— |
1.1.3 |
增强 (查看拉取请求) |
— |
1.1.2 |
错误修复 (查看拉取请求) 错误修复 (查看拉取请求) |
7.16.0 或更高版本 |
1.1.1 |
错误修复 (查看拉取请求) |
— |
1.1.0 |
增强 (查看拉取请求) |
— |
1.0.1 |
增强 (查看拉取请求) |
7.16.0 或更高版本 |
1.0.0 |
增强 (查看拉取请求) |
7.16.0 或更高版本 |
0.12.3 |
增强 (查看拉取请求) |
— |
0.12.2 |
错误修复 (查看拉取请求) |
— |
0.12.1 |
错误修复 (查看拉取请求) |
— |
0.12.0 |
增强 (查看拉取请求) |
— |
0.11.0 |
增强 (查看拉取请求) |
— |
0.10.1 |
增强 (查看拉取请求) |
— |
0.10.0 |
增强 (查看拉取请求) |
— |
0.9.2 |
错误修复 (查看拉取请求) |
— |
0.9.1 |
错误修复 (查看拉取请求) |
— |
0.9.0 |
增强 (查看拉取请求) |
— |
0.8.6 |
错误修复 (查看拉取请求) |
— |
0.8.5 |
增强 (查看拉取请求) |
— |
0.8.4 |
增强 (查看拉取请求) |
— |
0.8.3 |
增强 (查看拉取请求) |
— |
0.8.2 |
增强 (查看拉取请求) |
— |
0.8.1 |
增强 (查看拉取请求) |
— |
0.8.0 |
增强 (查看拉取请求) |
— |
0.7.0 |
增强 (查看拉取请求) |
— |
0.6.2 |
增强 (查看拉取请求) |
— |
0.6.1 |
增强 (查看拉取请求) |
— |
0.6.0 |
增强 (查看拉取请求) |
— |
0.5.1 |
增强 (查看拉取请求) |
— |
0.5.0 |
增强 (查看拉取请求) |
— |
0.4.0 |
增强 (查看拉取请求) |
— |
0.3.1 |
增强 (查看拉取请求) |
— |
0.3.0 |
增强 (查看拉取请求) |
— |
0.2.3 |
增强 (查看拉取请求) |
— |
0.2.2 |
错误修复 (查看拉取请求) |
— |
0.2.1 |
错误修复 (查看拉取请求) |
— |
0.2.0 |
增强 (查看拉取请求) |
— |
0.0.1 |
增强 (查看拉取请求) |
— |