› ›

VPC 流

版本	2.39.0 (查看全部)
兼容的 Kibana 版本	8.13.0 或更高版本
支持的无服务器项目类型这是什么？	安全性可观察性
订阅级别这是什么？	基本

日志

编辑

vpcflow 数据集收集从虚拟机实例发送和接收的日志，包括用作 GKE 节点的实例。

ECS 字段参考

有关 ECS 字段的详细信息，请参阅以下文档。

导出的字段

字段	描述	类型
@timestamp	事件时间戳。	日期
cloud.image.id	云实例的镜像 ID。	关键字
data_stream.dataset	数据流数据集。	常量关键字
data_stream.namespace	数据流命名空间。	常量关键字
data_stream.type	数据流类型。	常量关键字
event.dataset	事件数据集	常量关键字
event.module	事件模块	常量关键字
gcp.destination.instance.project_id	包含虚拟机的项目 ID。	关键字
gcp.destination.instance.region	虚拟机的区域。	关键字
gcp.destination.instance.zone	虚拟机的区域。	关键字
gcp.destination.vpc.project_id	包含虚拟机的项目 ID。	关键字
gcp.destination.vpc.subnetwork_name	虚拟机正在运行的子网。	关键字
gcp.destination.vpc.vpc_name	虚拟机正在运行的 VPC。	关键字
gcp.source.instance.project_id	包含虚拟机的项目 ID。	关键字
gcp.source.instance.region	虚拟机的区域。	关键字
gcp.source.instance.zone	虚拟机的区域。	关键字
gcp.source.vpc.project_id	包含虚拟机的项目 ID。	关键字
gcp.source.vpc.subnetwork_name	虚拟机正在运行的子网。	关键字
gcp.source.vpc.vpc_name	虚拟机正在运行的 VPC。	关键字
gcp.vpcflow.flattened	包含 GCP 发送的完整 vpcflow 文档。	扁平化
gcp.vpcflow.reporter	报告流的一方。可以是 SRC 或 DEST。	关键字
gcp.vpcflow.rtt.ms	在时间间隔内测量的延迟（仅适用于 TCP 流）。这是发送 SEQ 和接收相应的 ACK 之间经过的时间，它包含网络 RTT 以及与应用程序相关的延迟。	长整型
host.containerized	如果主机是容器。	布尔型
host.os.build	操作系统构建信息。	关键字
host.os.codename	操作系统的代号（如果有）。	关键字
input.type	输入类型	关键字
log.offset	日志偏移量	长整型

示例

vpcflow 的示例事件如下所示

{
    "@timestamp": "2019-06-14T03:50:10.845Z",
    "agent": {
        "ephemeral_id": "0b8165a2-0e25-4e9a-bb68-271697e0993f",
        "id": "c6b95057-2f5d-4b8f-b4b5-37cbdb995dec",
        "name": "docker-fleet-agent",
        "type": "filebeat",
        "version": "8.7.1"
    },
    "cloud": {
        "availability_zone": "us-east1-b",
        "instance": {
            "name": "kibana"
        },
        "project": {
            "id": "my-sample-project"
        },
        "provider": "gcp",
        "region": "us-east1"
    },
    "data_stream": {
        "dataset": "gcp.vpcflow",
        "namespace": "ep",
        "type": "logs"
    },
    "destination": {
        "address": "10.139.99.242",
        "domain": "elasticsearch",
        "ip": "10.139.99.242",
        "port": 9200
    },
    "ecs": {
        "version": "8.11.0"
    },
    "elastic_agent": {
        "id": "c6b95057-2f5d-4b8f-b4b5-37cbdb995dec",
        "snapshot": false,
        "version": "8.7.1"
    },
    "event": {
        "agent_id_status": "verified",
        "category": [
            "network"
        ],
        "created": "2023-10-25T04:21:42.006Z",
        "dataset": "gcp.vpcflow",
        "end": "2019-06-14T03:49:51.821056075Z",
        "id": "ut8lbrffooxz5",
        "ingested": "2023-10-25T04:21:43Z",
        "kind": "event",
        "start": "2019-06-14T03:40:20.510622432Z",
        "type": [
            "connection"
        ]
    },
    "gcp": {
        "destination": {
            "instance": {
                "project_id": "my-sample-project",
                "region": "us-east1",
                "zone": "us-east1-b"
            },
            "vpc": {
                "project_id": "my-sample-project",
                "subnetwork_name": "default",
                "vpc_name": "default"
            }
        },
        "source": {
            "instance": {
                "project_id": "my-sample-project",
                "region": "us-east1",
                "zone": "us-east1-b"
            },
            "vpc": {
                "project_id": "my-sample-project",
                "subnetwork_name": "default",
                "vpc_name": "default"
            }
        },
        "vpcflow": {
            "reporter": "DEST",
            "rtt": {
                "ms": 201
            }
        }
    },
    "input": {
        "type": "gcp-pubsub"
    },
    "log": {
        "logger": "projects/my-sample-project/logs/compute.googleapis.com%2Fvpc_flows"
    },
    "network": {
        "bytes": 11773,
        "community_id": "1:FYaJFSEAKLcBCMFoT6sR5TMHf/s=",
        "direction": "internal",
        "iana_number": "6",
        "name": "default",
        "packets": 94,
        "transport": "tcp",
        "type": "ipv4"
    },
    "related": {
        "ip": [
            "67.43.156.13",
            "10.139.99.242"
        ]
    },
    "source": {
        "address": "67.43.156.13",
        "as": {
            "number": 35908
        },
        "bytes": 11773,
        "domain": "kibana",
        "geo": {
            "continent_name": "Asia",
            "country_iso_code": "BT",
            "country_name": "Bhutan",
            "location": {
                "lat": 27.5,
                "lon": 90.5
            }
        },
        "ip": "67.43.156.13",
        "packets": 94,
        "port": 33576
    },
    "tags": [
        "forwarded",
        "gcp-vpcflow"
    ]
}

变更日志

编辑

变更日志

版本	详情	Kibana 版本
2.39.0	增强 (查看拉取请求) 向审计日志添加 `related.entity` 字段。	8.13.0 或更高版本
2.38.0	增强 (查看拉取请求) 向审计日志添加 `policy_violation_info`、`metadata` 和 `related` 字段。 Bug 修复 (查看拉取请求) 更新 GCP 审计日志仪表板以使用正确的 `email` 字段。	8.13.0 或更高版本
2.37.2	Bug 修复 (查看拉取请求) 修复嵌套对象的子字段的定义	8.13.0 或更高版本
2.37.1	增强 (查看拉取请求) 改进 GCP 计费文档。	8.13.0 或更高版本
2.37.0	增强 (查看拉取请求) 保留 `authenticationInfo.serviceAccountKeyName` 数据。	8.13.0 或更高版本
2.36.0	增强 (查看拉取请求) 为仪表板添加全局数据集过滤器以提高性能。	8.13.0 或更高版本
2.35.0	增强 (查看拉取请求) ECS 版本更新到 8.11.0。将 kibana 约束更新为 ^8.13.0。修改了字段定义，以删除 ecs@mappings 组件模板导致冗余的 ECS 字段。	8.13.0 或更高版本
2.34.1	Bug 修复 (查看拉取请求) 修复 persistence.rdb.bgsave_in_progress 的 Redis 指标类型。指标类型应为布尔型而不是长整型。	8.12.0 或更高版本
2.34.0	增强 (查看拉取请求) 向 GCP Compute、Firestore、PostgreSQL 添加标签和处理器。	8.12.0 或更高版本
2.33.2	增强 (查看拉取请求) 向 GCP Storage 添加标签和处理器	8.12.0 或更高版本
2.33.1	增强 (查看拉取请求) 将旧指标可视化更新为 GCP 计费概览仪表板中的新指标。	8.12.0 或更高版本
2.33.0	增强 (查看拉取请求) 为指标数据流启用时间序列数据。这大大减少了指标的存储空间，并有望逐步提高查询[性能](https://elastic.ac.cn/blog/70-percent-storage-savings-for-metrics-with-elastic-observability)。有关更多详细信息，请参阅 https://elastic.ac.cn/guide/en/elasticsearch/reference/current/tsds.html。	8.12.0 或更高版本
2.32.1	增强 (查看拉取请求) 在所有指标数据流中添加维度映射和 metrics_fingerprint 字段。	8.12.0 或更高版本
2.32.0	增强 (查看拉取请求) 添加新的计费数据流字段。	8.12.0 或更高版本
2.31.2	Bug 修复 (查看拉取请求) 修复解析具有空 rdata 字段的 DNS 日志的管道错误。	8.7.1 或更高版本
2.31.1	增强 (查看拉取请求) 添加 Cloud Run 文档并修复策略模板名称，以允许将 Cloud Run 日志添加到策略。	8.7.1 或更高版本
2.31.0	增强 (查看拉取请求) 允许用户保留其他丢弃的字段。	8.7.1 或更高版本
2.30.1	Bug 修复 (查看拉取请求) 修复组字段的映射	8.7.1 或更高版本
2.30.0	增强 (查看拉取请求) 添加 tags.yml 文件，以便集成的仪表板和保存的搜索标记有“安全解决方案”，并显示在安全解决方案 UI 中。增强 (查看拉取请求) 将软件包规范升级到 3.0.0。 Bug 修复 (查看拉取请求) 修复孤立的仪表板引用。 Bug 修复 (查看拉取请求) 添加缺少的仪表板过滤器。	8.7.1 或更高版本
2.29.1	Bug 修复 (查看拉取请求) 向重命名处理器添加空值检查和 ignore_missing 检查	8.7.1 或更高版本
2.29.0	Bug 修复 (查看拉取请求) 删除 GCP CloudSQL 已弃用、alpha 或 beta 指标并修复字段类型。	8.7.1 或更高版本
2.28.5	增强 (查看拉取请求) 为 GKE、负载均衡、PubSub、Redis 和存储数据流设置指标类型。	8.7.1 或更高版本
2.28.4	增强 (查看拉取请求) 将 GCP 负载均衡 HTTPS 概览仪表板迁移到 lens。	8.7.1 或更高版本
2.28.3	增强 (查看拉取请求) 为 Cloud Run、Compute、Dataproc 和 Firestore 数据流设置指标类型。	8.7.1 或更高版本
2.28.2	增强 (查看拉取请求) 将 GCP 负载均衡 TCP SSL 代理概览仪表板迁移到 lens。	8.7.1 或更高版本
2.28.1	增强 (查看拉取请求) 为 CloudSQL 数据流设置指标类型。	8.7.1 或更高版本
2.28.0	增强 (查看拉取请求) 将 GCP 负载均衡 L3 概览仪表板迁移到 lens。	8.7.1 或更高版本
2.27.0	增强 (查看拉取请求) 添加 GCP CloudSQL MySQL、SQL Server 和 PostgreSQL 仪表板。	8.7.1 或更高版本
2.26.0	Bug 修复 (查看拉取请求) 修复 GCP loadbalancing_metrics 字段前缀。	8.7.1 或更高版本
2.25.1	Bug 修复 (查看拉取请求) 修复对 gcp.audit.authorization_info[].granted 的检查。	8.7.1 或更高版本
2.25.0	增强 (查看拉取请求) 将 GCP 计费输入控件迁移到新的控制面板。	8.7.1 或更高版本
2.24.0	增强 (查看拉取请求) 添加 GCP CloudSQL MySQL、Postgres、SQLServer 数据流	8.7.1 或更高版本
2.23.0	增强 (查看拉取请求) 将安全仪表板转换为 lens。	8.7.1 或更高版本
2.22.1	增强 (查看拉取请求) 更改清单中的所有权。	8.6.0 或更高版本
2.22.0	增强 (查看拉取请求) 确保为管道错误正确设置 event.kind。	8.6.0 或更高版本
2.21.0	增强 (查看拉取请求) 将软件包更新至 ECS 8.8.0。	8.6.0 或更高版本
2.20.1	错误修复 (查看拉取请求) 修复 persistence.rdb.bgsave_in_progress 字段的无效 TSDS 指标类型	8.6.0 或更高版本
2.20.0	增强 (查看拉取请求) 将软件包更新至 ECS 8.7.0。	8.6.0 或更高版本
2.19.1	增强 (查看拉取请求) 将计算仪表板迁移到 Lens 并添加数据流筛选器。	8.6.0 或更高版本
2.19.0	增强 (查看拉取请求) 添加 Cloud Run 指标数据流。	8.6.0 或更高版本
2.18.0	增强 (查看拉取请求) 为 GCP PubSub 输入支持 `subscription_num_goroutines` 和 `subscription_max_outstanding_messages`	8.6.0 或更高版本
2.17.2	错误修复 (查看拉取请求) 修复 Audit 摄取管道中的 IP 转换处理器。	8.6.0 或更高版本
2.17.1	增强 (查看拉取请求) 添加了类别和/或子类别。	8.6.0 或更高版本
2.17.0	增强 (查看拉取请求) 添加审计日志概览仪表板增强 (查看拉取请求) 添加 GKE 概览仪表板增强 (查看拉取请求) 添加 PubSub 概览仪表板增强 (查看拉取请求) 添加存储概览仪表板	8.6.0 或更高版本
2.16.2	错误修复 (查看拉取请求) 添加逻辑以处理审计中的标量 request.policy 值	8.5.0 或更高版本
2.16.1	错误修复 (查看拉取请求) 将缺失的输入控制面板替换为新的样式控件。	8.5.0 或更高版本
2.16.0	增强 (查看拉取请求) 将软件包更新至 ECS 8.6.0。	8.5.0 或更高版本
2.15.2	增强 (查看拉取请求) 更新文档。	8.5.0 或更高版本
2.15.1	增强 (查看拉取请求) 添加 GCP Compute 管道测试。	8.5.0 或更高版本
2.15.0	增强 (查看拉取请求) 移除对 Kibana 7.17.x 的支持增强 (查看拉取请求) 支持指标数据流的多个区域	8.5.0 或更高版本
2.14.0	增强 (查看拉取请求) 将软件包更新至 ECS 8.5.0。	8.3.0 或更高版本
2.13.0	增强 (查看拉取请求) 按值迁移仪表板	8.3.0 或更高版本
2.12.1	错误修复 (查看拉取请求) 删除重复字段。	7.17.6 或更高版本 8.3.0 或更高版本
2.12.0	增强 (查看拉取请求) 添加 GCP Redis	7.17.6 或更高版本 8.3.0 或更高版本
2.11.12	错误修复 (查看拉取请求) 添加 GKE 摄取管道。	7.17.6 或更高版本 8.3.0 或更高版本
2.11.11	错误修复 (查看拉取请求) 修复 dns.answers.ttl 的类型。	7.17.6 或更高版本 8.3.0 或更高版本
2.11.10	增强 (查看拉取请求) 为 dataproc 添加摄取管道。增强 (查看拉取请求) 添加 GCP 负载均衡摄取管道增强 (查看拉取请求) 添加 GCP PubSub 摄取管道增强 (查看拉取请求) 添加 GCP 存储摄取管道增强 (查看拉取请求) 添加 GCP Firestore 摄取管道增强 (查看拉取请求) 添加 GCP Compute 摄取管道	7.17.6 或更高版本 8.3.0 或更高版本
2.11.10-beta.6	增强 (查看拉取请求) 为 dataproc 添加摄取管道。	—
2.11.10-beta.5	增强 (查看拉取请求) 添加 GCP 负载均衡摄取管道	—
2.11.10-beta.4	增强 (查看拉取请求) 添加 GCP PubSub 摄取管道	—
2.11.10-beta.3	增强 (查看拉取请求) 添加 GCP 存储摄取管道	—
2.11.10-beta.2	增强 (查看拉取请求) 添加 GCP Firestore 摄取管道	—
2.11.10-beta.1	增强 (查看拉取请求) 添加 GCP Compute 摄取管道	—
2.11.9	错误修复 (查看拉取请求) 修复 GKE kubernetes.io 缩进。	7.17.6 或更高版本 8.3.0 或更高版本
2.11.8	增强 (查看拉取请求) 删除重复字段。	7.17.6 或更高版本 8.3.0 或更高版本
2.11.7	增强 (查看拉取请求) 将 Dataproc 轻量级模块配置移动到集成中	7.17.6 或更高版本 8.3.0 或更高版本
2.11.6	增强 (查看拉取请求) 将负载均衡轻量级模块配置移动到集成中	7.17.6 或更高版本 8.3.0 或更高版本
2.11.5	增强 (查看拉取请求) 将存储轻量级模块配置移动到集成中	7.17.6 或更高版本 8.3.0 或更高版本
2.11.4	增强 (查看拉取请求) 将 PubSub 轻量级模块配置移动到集成中	7.17.6 或更高版本 8.3.0 或更高版本
2.11.3	增强 (查看拉取请求) 将 GKE 轻量级模块配置移动到集成中	7.17.6 或更高版本 8.3.0 或更高版本
2.11.2	增强 (查看拉取请求) 将 Firestore 轻量级模块配置移动到集成中	7.17.6 或更高版本 8.3.0 或更高版本
2.11.1	增强 (查看拉取请求) 使用 ECS geo.location 定义。	7.17.6 或更高版本 8.3.0 或更高版本
2.11.0	增强 (查看拉取请求) 将 Compute 轻量级模块配置移动到集成中	7.17.6 或更高版本 8.3.0 或更高版本
2.10.0	增强 (查看拉取请求) 添加 GCP PubSub 数据流	7.17.6 或更高版本 8.3.0 或更高版本
2.9.0	增强 (查看拉取请求) 添加 GCP Dataproc 数据流	7.17.6 或更高版本 8.3.0 或更高版本
2.8.0	增强 (查看拉取请求) 添加 GCP GKE 数据流	7.17.6 或更高版本 8.3.0 或更高版本
2.7.0	增强 (查看拉取请求) 添加 GCP 存储数据流	7.17.6 或更高版本 8.3.0 或更高版本
2.6.0	增强 (查看拉取请求) 添加负载均衡日志数据流	7.17.6 或更高版本 8.3.0 或更高版本
2.5.0	增强 (查看拉取请求) 添加 GCP 负载均衡 Metricset 错误修复 (查看拉取请求) 修复 loadbalancing_metrics 中的 credentials_json 转义错误修复 (查看拉取请求) 将 loadbalancing_metrics 的默认周期更新为 60 秒错误修复 (查看拉取请求) 修复 loadbalancing_metrics 的 event.dataset 增强 (查看拉取请求) 添加 loadbalancing_metrics 分布字段	7.17.6 或更高版本 8.3.0 或更高版本
2.4.0	增强 (查看拉取请求) 将软件包更新至 ECS 8.4.0	7.17.6 或更高版本 8.3.0 或更高版本
2.3.0	增强 (查看拉取请求) 为 DNS 公共区域查询日志添加额外的解析	7.17.6 或更高版本 8.3.0 或更高版本
2.2.1	增强 (查看拉取请求) 修复计费策略模板标题和 gcp.compute 的默认周期	7.17.6 或更高版本 8.3.0 或更高版本
2.2.0	增强 (查看拉取请求) 删除 ECS 字段中重复的字段	7.17.6 或更高版本 8.3.0 或更高版本
2.1.0	增强 (foobar[查看拉取请求]) 恢复与 7.17 发行版的兼容性	7.17.6 或更高版本 8.3.0 或更高版本
2.0.0	重大更改 (查看拉取请求) 移动配置以支持指标。此更改是破坏性的，因为它将一些配置从顶级变量移动到数据流变量。此更改涉及 `project_id`、`credentials_file` 和 `credentials_json` 变量，这些变量从输入级配置移动到软件包级配置（因为这些变量在所有输入/数据流中重复使用）。启用 GCP 集成的用户在将策略升级到此版本时将需要再次输入这些变量的值。增强 (查看拉取请求) 添加 GCP 计费数据流增强 (查看拉取请求) 添加 GCP Compute 数据流增强 (查看拉取请求) 添加 GCP Firestore 数据流	8.3.0 或更高版本
1.10.0	增强 (查看拉取请求) 将软件包更新至 ECS 8.3.0。	7.17.0 或更高版本 8.0.0 或更高版本
1.9.2	错误修复 (查看拉取请求) 修复响应状态的 GCP 审计日志解析问题	7.17.0 或更高版本 8.0.0 或更高版本
1.9.1	增强 (查看拉取请求) 更新自述文件	7.17.0 或更高版本 8.0.0 或更高版本
1.9.0	增强 (查看拉取请求) 在扁平化字段中保留请求和响应。	7.17.0 或更高版本 8.0.0 或更高版本
1.8.0	增强 (查看拉取请求) 添加缺失的 `cloud.provider` 字段。	7.17.0 或更高版本 8.0.0 或更高版本
1.7.0	增强 (查看拉取请求) 为防火墙和 VPC 流日志添加仪表板。错误修复 (查看拉取请求) 为多个 `event.*` 字段添加缺失的映射。	—
1.6.1	增强 (查看拉取请求) 阐明 Pub/Sub 输入所需的 GCP 权限。	7.16.3 或更高版本 8.0.0 或更高版本
1.6.0	增强 (查看拉取请求) 更新至 ECS 8.2	—
1.5.1	增强 (查看拉取请求) 添加多字段的文档	7.16.3 或更高版本 8.0.0 或更高版本
1.5.0	增强 (查看拉取请求) 改进 Google Cloud Platform 文档。	7.16.3 或更高版本 8.0.0 或更高版本
1.4.2	错误修复 (查看拉取请求) 删除空值、仅包含点的名称和无效的客户端 IP。	7.16.3 或更高版本 8.0.0 或更高版本
1.4.1	错误修复 (查看拉取请求) 修复策略模板中 credentials_json 值的引用。	7.16.3 或更高版本 8.0.0 或更高版本
1.4.0	增强 (查看拉取请求) 添加 gcp.dns 集成	—
1.3.1	错误修复 (查看拉取请求) 添加 Ingest Pipeline 脚本以映射 IANA 协议编号	7.15.0 或更高版本 8.0.0 或更高版本
1.3.0	增强 (查看拉取请求) 更新至 ECS 8.0	7.15.0 或更高版本 8.0.0 或更高版本
1.2.2	错误修复 (查看拉取请求) 使用新的 GeoIP 数据库重新生成测试文件	7.15.0 或更高版本 8.0.0 或更高版本
1.2.1	错误修复 (查看拉取请求) 将测试公共 IP 更改为支持的子集	—
1.2.0	增强 (查看拉取请求) 添加 8.0.0 版本约束	7.15.0 或更高版本 8.0.0 或更高版本
1.1.2	增强 (查看拉取请求) 更新标题和描述。	7.15.0 或更高版本
1.1.1	错误修复 (查看拉取请求) 修复检查 forwarded 标记的逻辑	—
1.1.0	增强 (查看拉取请求) 更新至 ECS 1.12.0	7.15.0 或更高版本
1.0.0	增强 (查看拉取请求) 从实验性状态移至 GA 增强 (查看拉取请求) 从 data_sets 中删除 experimental	—
0.3.3	增强 (查看拉取请求) 转换为生成的 ECS 字段	—
0.3.2	增强 (查看拉取请求) 更新至 ECS 1.11.0	—
0.3.1	增强 (查看拉取请求) 转义文档中的特殊字符	—
0.3.0	增强 (查看拉取请求) 更新集成描述	—
0.2.0	增强 (查看拉取请求) 设置 "event.module" 和 "event.dataset"	—
0.1.0	增强 (查看拉取请求) 更新至 ECS 1.10.0 并添加 event.original 选项	—
0.0.2	增强 (查看拉取请求) 更新至 ECS 1.9.0	—
0.0.1	增强 (查看拉取请求) 初始发布	—

« 存储 GCP Vertex AI »