Azure 平台日志

编辑

版本

1.20.1 (查看全部)

兼容的 Kibana 版本

8.13.0 或更高版本

支持的无服务器项目类型
这是什么?

安全性
可观测性

订阅级别
这是什么?

基本

平台日志为 Azure 资源及其依赖的 Azure 平台提供详细的诊断和审计信息。

要求和设置

编辑

有关设置和使用此集成的更多信息,请参阅 Azure 日志页面。

设置

编辑

eventhub: 字符串 它是一项完全托管的实时数据提取服务。Elastic 建议事件中心名称仅使用字母、数字和连字符 (-) 以最大化兼容性。您可以使用事件中心名称中带有下划线 (_) 的现有事件中心;在这种情况下,当集成在后台使用事件中心名称创建依赖的 Azure 资源(例如,用于存储事件中心使用者偏移量的存储帐户容器)时,它会将下划线替换为连字符 (-)。Elastic 还建议为每种日志类型使用单独的事件中心,因为每种日志类型的字段映射不同。默认值 insights-operational-logs

consumer_group: 字符串 通过使用者组启用事件中心的发布/订阅机制。使用者组是整个事件中心的视图(状态、位置或偏移量)。使用者组使多个消费应用程序能够各自拥有事件流的单独视图,并以自己的步调和偏移量独立读取流。默认值:$Default

connection_string: 字符串 与事件中心通信所需的连接字符串,步骤请参阅 https://docs.microsoft.com/en-us/azure/event-hubs/event-hubs-get-connection-string

需要 Blob 存储帐户才能存储/检索/更新事件中心消息的偏移量或状态。这意味着在停止 filebeat azure 模块后,它可以从停止处理消息的位置重新启动。

storage_account: 字符串 存储和更新状态/偏移量的存储帐户的名称。

storage_account_key: 字符串 存储帐户密钥,此密钥将用于授权访问存储帐户中的数据。

storage_account_container: 字符串 集成存储使用者组检查点数据的存储帐户容器。这是一个高级选项,需要格外小心使用。您必须为每种 Azure 日志类型(活动、登录、审核日志等)使用专用的存储帐户容器。请勿为多个 Azure 日志类型重用相同的容器名称。有关 Microsoft 命名规则的详细信息,请参阅 容器名称。如果未指定,集成将生成默认容器名称。

resource_manager_endpoint: 字符串 可选,默认情况下我们使用 Azure 公共环境,要覆盖此设置,用户可以提供特定的资源管理器端点以使用不同的 Azure 环境。

资源管理器端点

# Azure ChinaCloud
https://management.chinacloudapi.cn/

# Azure GermanCloud
https://management.microsoftazure.de/

# Azure PublicCloud
https://management.azure.com/

# Azure USGovernmentCloud
https://management.usgovcloudapi.net/

日志

编辑
platformlogs
编辑

Azure 日志包的 platformlogs 数据集将收集通过 Azure 事件中心流式传输的任何平台事件。

示例

platformlogs 的示例事件如下所示

{
    "@timestamp": "2020-11-05T14:07:32.000Z",
    "agent": {
        "ephemeral_id": "d3c4d56c-e7c7-489e-9d25-683452d16ec9",
        "hostname": "DESKTOP-RFOOE09",
        "id": "c1118415-bcb7-4cf9-b64d-a6c6e8ebcfac",
        "name": "DESKTOP-RFOOE09",
        "type": "filebeat",
        "version": "7.10.0"
    },
    "azure": {
        "platformlogs": {
            "ActivityId": "5890c6fc-fc6b-47cd-971a-2366a1641d99",
            "Caller": "Portal",
            "Environment": "PROD",
            "EventTimeString": "11/5/2020 2:07:32 PM +00:00",
            "ScaleUnit": "PROD-AM3-AZ501",
            "category": "OperationalLogs",
            "event_category": "Administrative",
            "properties": {
                "Namespace": "obstesteventhubs",
                "SubscriptionId": "7657426d-c4c3-44ac-88a2-3b2cd59e6dba",
                "TrackingId": "5890c6fc-fc6b-47cd-971a-2366a1641d99_M8CH3_M8CH3_G8S3",
                "Via": "https://obstesteventhubs.servicebus.windows.net/$Resources/eventhubs?api-version=2017-04&$skip=0&$top=100"
            }
        },
        "resource": {
            "group": "OBS-TEST",
            "id": "/SUBSCRIPTIONS/7657426D-C4C3-44AC-88A2-3B2CD59E6DBA/RESOURCEGROUPS/OBS-TEST/PROVIDERS/MICROSOFT.EVENTHUB/NAMESPACES/OBSTESTEVENTHUBS",
            "name": "OBSTESTEVENTHUBS",
            "provider": "MICROSOFT.EVENTHUB/NAMESPACES"
        },
        "subscription_id": "7657426D-C4C3-44AC-88A2-3B2CD59E6DBA"
    },
    "cloud": {
        "provider": "azure",
        "region": "West Europe"
    },
    "data_stream": {
        "dataset": "azure.platformlogs",
        "namespace": "default",
        "type": "logs"
    },
    "ecs": {
        "version": "8.11.0"
    },
    "elastic_agent": {
        "id": "02f4e39d-8a1b-4506-a531-b45d0f492ee7",
        "snapshot": false,
        "version": "7.10.0"
    },
    "event": {
        "action": "Retreive Namespace",
        "dataset": "azure.platformlogs",
        "ingested": "2020-11-01T12:02:34.237205200Z",
        "kind": "event",
        "outcome": "success"
    },
    "host": {
        "name": "DESKTOP-RFOOE09"
    }
}

ECS 字段参考

有关 ECS 字段的详细信息,请参阅以下文档

导出的字段
字段 描述 类型

@timestamp

事件时间戳。

日期

azure.correlation_id

关联 ID

关键词

azure.platformlogs.ActivityId

ActivityId

关键词

azure.platformlogs.Caller

调用方

关键词

azure.platformlogs.Cloud

关键词

azure.platformlogs.Environment

环境

关键词

azure.platformlogs.EventTimeString

EventTimeString

关键词

azure.platformlogs.ScaleUnit

ScaleUnit

关键词

azure.platformlogs.category

类别

关键词

azure.platformlogs.ccpNamespace

ccpNamespace

关键词

azure.platformlogs.event_category

事件类别

关键词

azure.platformlogs.identity_name

身份名称

关键词

azure.platformlogs.operation_name

操作名称

关键词

azure.platformlogs.properties

事件属性

扁平化

azure.platformlogs.result_description

结果描述

关键词

azure.platformlogs.result_signature

结果签名

关键词

azure.platformlogs.result_type

结果类型

关键词

azure.platformlogs.status

状态

关键词

azure.resource.authorization_rule

授权规则

关键词

azure.resource.group

资源组

关键词

azure.resource.id

资源 ID

关键词

azure.resource.name

名称

关键词

azure.resource.namespace

资源类型/命名空间

关键词

azure.resource.provider

资源类型/命名空间

关键词

azure.subscription_id

Azure 订阅 ID

关键词

azure.tenant_id

租户 ID

关键词

cloud.image.id

云实例的映像 ID。

关键词

data_stream.dataset

数据流数据集名称。

常量关键字

data_stream.namespace

数据流命名空间。

常量关键字

data_stream.type

数据流类型。

常量关键字

event.dataset

事件数据集

常量关键字

event.module

事件模块

常量关键字

geo.city_name

城市名称。

关键词

geo.continent_name

大洲名称。

关键词

geo.country_iso_code

国家/地区 ISO 代码。

关键词

geo.country_name

国家/地区名称。

关键词

geo.location

经度和纬度。

地理点

geo.name

用户定义的某个位置的描述,粒度级别由用户决定。可以是他们的数据中心名称、楼层号(如果这描述的是本地物理实体)或城市名称。通常不用于自动地理位置定位。

关键词

host.containerized

主机是否是容器。

布尔值

host.os.build

操作系统版本信息。

关键词

host.os.codename

操作系统的代号(如果有)。

关键词

变更日志

编辑
变更日志
版本 详细信息 Kibana 版本

1.20.1

Bug 修复 (查看拉取请求)
修复无痛脚本中的字符串文字。

8.13.0 或更高版本

1.20.0

增强功能 (查看拉取请求)
添加 Azure 日志集成 v2(预览版)

8.13.0 或更高版本

1.19.4

Bug 修复 (查看拉取请求)
修复 destination.geo.region_name 映射。

8.13.0 或更高版本

1.19.3

Bug 修复 (查看拉取请求)
为了保持一致性,将 Identity 字段重命名为 identity

8.13.0 或更高版本

1.19.2

Bug 修复 (查看拉取请求)
properties 字段重命名为 properties.raw,以避免 properties 字段包含字符串时发生解析错误。

8.13.0 或更高版本

1.19.1

Bug 修复 (查看拉取请求)
修复一个错误并阐明关于存储帐户容器的文档。

8.13.0 或更高版本

1.18.0

增强功能 (查看拉取请求)
将实体标识符添加到 related.entity

8.13.0 或更高版本

1.17.0

增强功能 (查看拉取请求)
为在匹配防火墙规则的请求中找到的精确数据添加 event.reason 日志字段。

8.13.0 或更高版本

1.16.0

增强功能 (查看拉取请求)
允许 @custom 管道访问 event.original,而无需设置 preserve_original_event。

8.13.0 或更高版本

1.15.1

Bug 修复 (查看拉取请求)
修复 [client|source].geo.location ECS 字段映射

8.13.0 或更高版本

1.15.0

增强功能 (查看拉取请求)
添加关于 Azure Functions 托管计划的新章节。

8.13.0 或更高版本

1.14.0

增强功能 (查看拉取请求)
添加仪表板的全局数据集筛选器以提高性能。

8.13.0 或更高版本

1.13.1

增强功能 (查看拉取请求)
使用有关事件中心分区配置的更多详细信息扩展文档。

8.13.0 或更高版本

1.13.0

增强功能 (查看拉取请求)
将结构化日志类别添加到 Azure 防火墙。

8.13.0 或更高版本

1.12.0

增强功能 (查看拉取请求)
ECS 版本更新至 8.11.0。将 Kibana 约束更新为 ^8.13.0。修改了字段定义,以删除 ecs@mappings 组件模板中冗余的 ECS 字段。

重大变更 (查看拉取请求)
将 "event.outcome" 值从 "Succeeded" 更新为 "success",将 "Failed" 更新为 "failure"。

8.13.0 或更高版本

1.11.4

Bug 修复 (查看拉取请求)
将 Azure AD 替换为 Microsoft Entra ID。

8.12.0 或更高版本

1.11.3

Bug 修复 (查看拉取请求)
更新 Azure 审核日志管道,以支持 initiated_by 用户字段。

8.12.0 或更高版本

1.11.2

Bug 修复 (查看拉取请求)
添加缺失的 ECS 字段定义。

8.12.0 或更高版本

1.11.1

增强功能 (查看拉取请求)
更新事件中心参数名称建议的描述。

8.12.0 或更高版本

1.11.0

增强功能 (查看拉取请求)
为事件中心使用 event.dataset 字段的 ECS 定义

8.12.0 或更高版本

1.10.0

增强功能 (查看拉取请求)
添加 Microsoft Graph 活动日志

8.12.0 或更高版本

1.9.2

增强功能 (查看拉取请求)
添加在防火墙后运行集成的文档。

8.12.0 或更高版本

1.9.1

错误修复 (查看拉取请求)
将秘密字段的字段类型设置为密码。

8.12.0 或更高版本

1.9.0

增强功能 (查看拉取请求)
添加对集成密钥的支持

8.12.0 或更高版本

1.8.3

增强功能 (查看拉取请求)
在 Azure 登录日志的管道中添加 caller_ip_address 字段。

8.8.0 或更高版本

1.8.2

增强功能 (查看拉取请求)
更新 Azure 日志文档。

8.8.0 或更高版本

1.8.1

增强功能 (查看拉取请求)
更新 AD 日志文档。

8.8.0 或更高版本

1.8.0

增强功能 (查看拉取请求)
允许将 Azure 日志事件重新路由到不同的数据流。

8.8.0 或更高版本

1.7.0

增强功能 (查看拉取请求)
将 Azure Spring Cloud Logs 品牌重塑为 Azure Spring Apps

8.6.0 或更高版本

1.6.0

增强功能 (查看拉取请求)
将软件包 format_version 更新为 3.0.0。

8.6.0 或更高版本

1.5.33

错误修复 (查看拉取请求)
在应用程序网关日志中将 json.properties.clientIp 处理为 json.properties.clientIP 的别名

8.6.0 或更高版本

1.5.32

错误修复 (查看拉取请求)
修复 azure.activitylogs.claims.* 的映射。

8.6.0 或更高版本

1.5.31

增强功能 (查看拉取请求)
将 Azure AD 身份保护仪表板迁移到 Lens。

8.6.0 或更高版本

1.5.30

增强功能 (查看拉取请求)
将 Azure AD 预配日志仪表板迁移到 Lens。

8.6.0 或更高版本

1.5.29

增强功能 (查看拉取请求)
修复 Azure 仪表板描述和标题。

8.6.0 或更高版本

1.5.28

增强功能 (查看拉取请求)
将警报概览仪表板迁移到 Lens

8.6.0 或更高版本

1.5.27

错误修复 (查看拉取请求)
修复防火墙仪表板中的问题

8.6.0 或更高版本

1.5.26

错误修复 (查看拉取请求)
处理登录日志中重复的 user_agent.original 字段

8.6.0 或更高版本

1.5.25

错误修复 (查看拉取请求)
处理应用程序网关日志中重复的 url.path 字段

8.6.0 或更高版本

1.5.24

错误修复 (查看拉取请求)
处理具有属性的 DNAT 请求的防火墙事件

8.6.0 或更高版本

1.5.23

增强功能 (查看拉取请求)
更新 Azure 日志屏幕截图

8.6.0 或更高版本

1.5.22

增强功能 (查看拉取请求)
将 Azure Cloud Overview 仪表板迁移到 Lens 并进行样式更改

8.6.0 或更高版本

1.5.21

增强功能 (查看拉取请求)
将用户活动仪表板迁移到 Lens

8.6.0 或更高版本

1.5.20

增强功能 (查看拉取请求)
用于清理的集成设置 UI

8.6.0 或更高版本

1.5.17

增强功能 (查看拉取请求)
将 Spring Cloud Overview 仪表板迁移到 Lens

8.6.0 或更高版本

1.5.16

增强功能 (查看拉取请求)
将 Azure Spring Cloud Logs 应用程序云日志仪表板迁移到 Lens

8.6.0 或更高版本

1.5.15

增强功能 (查看拉取请求)
将 Spring Cloud 系统日志仪表板迁移到 Lens

8.6.0 或更高版本

1.5.14

增强功能 (查看拉取请求)
增强/提高仪表板的性能

8.6.0 或更高版本

1.5.13

增强功能 (查看拉取请求)
扩展存储帐户容器文档,并添加指向要求和设置说明的链接

7.16.0 或更高版本
8.0.0 或更高版本

1.5.12

增强功能 (查看拉取请求)
添加了类别和/或子类别。

7.16.0 或更高版本
8.0.0 或更高版本

1.5.11

增强功能 (查看拉取请求)
向 AzureFirewallNetworkRule 日志类别添加新的消息格式

7.16.0 或更高版本
8.0.0 或更高版本

1.5.10

错误修复 (查看拉取请求)
检查 Application Gateway 和 Event Hub 接收管道中是否已存在 event.original

7.16.0 或更高版本
8.0.0 或更高版本

1.5.9

错误修复 (查看拉取请求)
检查防火墙日志接收管道中是否已存在 event.original

7.16.0 或更高版本
8.0.0 或更高版本

1.5.8

错误修复 (查看拉取请求)
storage_account_container 选项添加到应用程序网关集成

7.16.0 或更高版本
8.0.0 或更高版本

1.5.7

错误修复 (查看拉取请求)
修复登录日志中 authentication_processing_details 字段的解析

7.16.0 或更高版本
8.0.0 或更高版本

1.5.6

错误修复 (查看拉取请求)
修复客户端端口为空的解析错误,并调整时间戳

7.16.0 或更高版本
8.0.0 或更高版本

1.5.5

错误修复 (查看拉取请求)
当值是字符串时,将 identity 重命名为 identity_name

7.16.0 或更高版本
8.0.0 或更高版本

1.5.4

增强功能 (查看拉取请求)
默认启用事件中心集成并改进文档

7.16.0 或更高版本
8.0.0 或更高版本

1.5.3

增强功能 (查看拉取请求)
新安装时数据流开始时处于禁用状态

7.16.0 或更高版本
8.0.0 或更高版本

1.5.2

错误修复 (查看拉取请求)
修复变更日志中的 PR 链接

7.16.0 或更高版本
8.0.0 或更高版本

1.5.1

错误修复 (查看拉取请求)
修复文档格式 (删除额外的概述标题)

7.16.0 或更高版本
8.0.0 或更高版本

1.5.0

增强功能 (查看拉取请求)
添加 Azure Application Gateway 数据流

7.16.0 或更高版本
8.0.0 或更高版本

1.4.1

增强功能 (查看拉取请求)
更新 Azure 日志文档

7.16.0 或更高版本
8.0.0 或更高版本

1.4.0

增强功能 (查看拉取请求)
向 Azure AD 日志集成添加两个新的数据流:Azure 身份保护日志和预配日志

7.16.0 或更高版本
8.0.0 或更高版本

1.3.0

增强功能 (查看拉取请求)
添加覆盖默认生成的存储帐户容器的可能性

7.16.0 或更高版本
8.0.0 或更高版本

1.2.3

增强 (查看拉取请求)
更新文档,提供推荐的事件中心配置

7.16.0 或更高版本
8.0.0 或更高版本

1.2.2

增强 (查看拉取请求)
更新软件包名称和描述,使其与标准措辞一致

7.16.0 或更高版本
8.0.0 或更高版本

1.2.1

缺陷修复 (查看拉取请求)
修复 Azure 登录日志摄取管道中的缺陷

7.16.0 或更高版本
8.0.0 或更高版本

1.2.0

增强 (查看拉取请求)
支持 Azure 防火墙日志

1.1.11

缺陷修复 (查看拉取请求)
改进对上游转发器 event.original 字段的支持。

1.1.10

增强 (查看拉取请求)
更新自述文件,提供指向 Microsoft 文档的链接

7.16.0 或更高版本
8.0.0 或更高版本

1.1.9

缺陷修复 (查看拉取请求)
改进 IPv6 IP 地址的处理。

1.1.8

增强 (查看拉取请求)
更新文档,提供有关事件中心名称建议的详细信息

7.16.0 或更高版本
8.0.0 或更高版本

1.1.7

缺陷修复 (查看拉取请求)
在 platformlogs 中添加 geo.name 和 result_description 字段

7.16.0 或更高版本
8.0.0 或更高版本

1.1.6

缺陷修复 (查看拉取请求)
修复 azure.activitylogs.identity,使用具体值

缺陷修复 (查看拉取请求)
将 identity_name、tenant_id、level 和 operation_version 添加到活动日志中

7.16.0 或更高版本
8.0.0 或更高版本

1.1.5

增强 (查看拉取请求)
添加多字段的文档

1.1.4

缺陷修复 (查看拉取请求)
修复所有 Azure 数据流中 event.duration 字段映射冲突。

1.1.3

增强 (查看拉取请求)
默认情况下,将 forwarded 标签添加到所有日志类型。

1.1.2

缺陷修复 (查看拉取请求)
添加 device_detail.is_compliant 和 device_detail.is_managed 字段

缺陷修复 (查看拉取请求)
将 authentication_requirement_policies 更改为扁平类型

7.16.0 或更高版本
8.0.0 或更高版本

1.1.1

缺陷修复 (查看拉取请求)
修复审计日志数据流中 client.ip 的字段映射冲突。将 eventhub 数据流中的 azure-eventhub.offsetazure-eventhub.sequence_number 从关键字类型更改为长整型。

1.1.0

增强 (查看拉取请求)
支持新的 Azure 审计日志和登录日志

1.0.1

增强 (查看拉取请求)
从数据流中删除 beta 版本标签

7.16.0 或更高版本
8.0.0 或更高版本

1.0.0

增强 (查看拉取请求)
将 Azure 包移动到 GA

7.16.0 或更高版本
8.0.0 或更高版本

0.12.3

增强 (查看拉取请求)
更新到 ECS 8.0

0.12.2

缺陷修复 (查看拉取请求)
使用新的 GeoIP 数据库重新生成测试文件

0.12.1

缺陷修复 (查看拉取请求)
将测试公有 IP 更改为支持的子集

0.12.0

增强 (查看拉取请求)
发布 v8.0.0 的 Azure 包

0.11.0

增强 (查看拉取请求)
添加 Azure 事件中心输入

0.10.1

增强 (查看拉取请求)
与指南保持一致

0.10.0

增强 (查看拉取请求)
signinlogs - 添加对 ManagedIdentitySignInLogs、NonInteractiveUserSignInLogs 和 ServicePrincipalSignInLogs 的支持。

0.9.2

缺陷修复 (查看拉取请求)
防止管道脚本错误

0.9.1

缺陷修复 (查看拉取请求)
修复检查 _forwarded_ 标签的逻辑

0.9.0

增强 (查看拉取请求)
更新到 ECS 1.12.0

0.8.6

缺陷修复 (查看拉取请求)
添加 ECS client.ip 映射

0.8.5

增强 (查看拉取请求)
更新文档和徽标

0.8.4

增强 (查看拉取请求)
转换为生成的 ECS 字段

0.8.3

增强 (查看拉取请求)
从 ECS 导入 geo_points

0.8.2

增强 (查看拉取请求)
更新错误消息

0.8.1

增强 (查看拉取请求)
添加对 platformlogs 管道内的 springcloud 日志的支持

0.8.0

增强 (查看拉取请求)
导入 ECS 字段定义

0.7.0

增强 (查看拉取请求)
添加 Spring Cloud 日志

0.6.2

增强 (查看拉取请求)
更新到 ECS 1.11.0

0.6.1

增强 (查看拉取请求)
转义文档中的特殊字符

0.6.0

增强 (查看拉取请求)
更新集成描述

0.5.1

增强 (查看拉取请求)
重新添加用于处理无效 JSON 的管道更改

0.5.0

增强 (查看拉取请求)
添加输入组

0.4.0

增强 (查看拉取请求)
设置 "event.module" 和 "event.dataset"

0.3.1

增强 (查看拉取请求)
使软件包与模块更改同步

0.3.0

增强 (查看拉取请求)
更新到 ECS 1.10.0 并添加 event.original 选项

0.2.3

增强 (查看拉取请求)
更新到 ECS 1.9.0

0.2.2

缺陷修复 (查看拉取请求)
更正示例事件文件。

0.2.1

缺陷修复 (查看拉取请求)
添加对空配置选项的检查。

0.2.0

增强 (查看拉取请求)
添加使用 ECS 1.8 字段的更改。

0.0.1

增强 (查看拉取请求)
初始版本