New

The executive guide to generative AI

Read more
About usPartnersSupport|Login
« Google Cloud Google Cloud Platform 集成 »
Elastic 文档 ›Elastic 集成 ›Google Cloud

自定义 GCS (Google Cloud Storage) 输入

编辑

自定义 GCS (Google Cloud Storage) 输入

编辑

版本

2.1.0 (查看全部)

兼容的 Kibana 版本

8.13.0 或更高版本

支持的无服务器项目类型
这是什么？

安全性
可观察性

订阅级别
这是什么？

基础

支持级别
这是什么？

Elastic

使用 Google Cloud Storage 输入 从存储在 Google Cloud 上的存储桶中的文件中读取内容。该输入可以配置为使用轮询或不使用轮询，但目前，如果禁用轮询，它将仅执行一次传递，列出文件内容并结束进程。通常建议在大多数情况下使用轮询，即使它在处理大量文件时可能会变得很昂贵。

为了减轻错误并确保稳定的处理环境，此输入采用了以下功能

  1. 在处理 Google Cloud 存储桶时，如果突然发生任何中断，该进程将能够在处理完上次处理的文件并成功保存状态后恢复。
  2. 如果某些文件发生任何错误，它们将被适当地记录，但其余文件将继续正常处理。
  3. 如果发生任何阻止主线程的重大错误，将适当地生成日志，描述该错误。

目前，关于对象/文件格式，仅支持 JSON。我们也支持 gzip 压缩的 JSON 对象/文件。对于身份验证类型，我们目前支持 JSON 凭证密钥 和 凭证文件。如果文件/对象的下载失败或中断，则下载会重试两次，这相当于特定文件/对象最多尝试三次。此行为目前不是用户可配置的。

GCS 凭证密钥文件

编辑

这是一次性下载的 JSON 密钥文件，您在将密钥添加到 GCP 服务帐户后会获得该文件。如果您刚刚开始创建 GCS 存储桶，请执行以下操作

  1. 确保您有一个可用的服务帐户，如果没有，请按照以下步骤操作

    • 导航至API 和服务 > 凭证
    • 点击创建凭证 > 服务帐户
  2. 创建服务帐户后，您可以导航到密钥部分并附加/生成您的服务帐户密钥。
  3. 确保在提示时下载 JSON 密钥文件。
  4. 以内联方式（JSON 字符串对象）或通过指定主机上文件路径的方式使用此 JSON 密钥文件，代理在该主机上运行。

JSON 凭证文件的示例如下所示

{
  "type": "dummy_service_account",
  "project_id": "dummy-project",
  "private_key_id": "dummy-private-key-id",
  "private_key": "-----BEGIN PRIVATE KEY-----\nDummyPrivateKey\n-----END PRIVATE KEY-----\n",
  "client_email": "dummy-service-account@example.com",
  "client_id": "12345678901234567890",
  "auth_uri": "https://dummy-auth-uri.com",
  "token_uri": "https://dummy-token-uri.com",
  "auth_provider_x509_cert_url": "https://dummy-auth-provider-cert-url.com",
  "client_x509_cert_url": "https://dummy-client-cert-url.com",
  "universe_domain": "dummy-universe-domain.com"
}

注意

  • 使用 GCS 集成时，如果您使用内联 JSON 凭证，则必须在单引号内指定整个 JSON 对象，即 '{GCS_CREDS_JSON_OBJECT}'

配置输入

编辑

假设您已经设置了 GCS 存储桶并且服务帐户密钥可用，请参考输入文档 此处，了解有关集成使用的特定参数的更多详细信息。

ECS 字段映射

编辑

此集成包含 ECS 动态模板，所有遵循 ECS 架构的字段都将被分配正确的索引字段映射，无需手动添加。

摄取管道

编辑

可以通过将名称添加到管道配置选项来添加自定义摄取管道，可以通过 API 或摄取节点管道 UI 创建自定义摄取管道。

变更日志

编辑
变更日志
版本 详细信息 Kibana 版本

2.1.0

增强 (查看拉取请求)
ECS 版本更新至 8.11.0。删除 import_mappings。更新 kibana 约束至 ^8.13.0。修改字段定义以删除由 ecs@mappings 组件模板变得冗余的 ECS 字段。

8.13.0 或更高版本

2.0.0

增强 (查看拉取请求)
将 Google Cloud Storage 转换为输入包类型。

8.12.0 或更高版本

1.1.0

增强 (查看拉取请求)
将敏感值设置为 secret。

8.12.0 或更高版本

1.0.1

增强 (查看拉取请求)
更改所有者

8.11.0 或更高版本

1.0.0

增强 (查看拉取请求)
使集成 GA。通过添加对新参数的支持并更新文档来重构集成。

8.11.0 或更高版本

0.9.0

增强 (查看拉取请求)
ECS 版本更新至 8.11.0。

—

0.8.0

增强 (查看拉取请求)
ECS 版本更新至 8.10.0。

—

0.7.0

增强 (查看拉取请求)
软件包清单中的 format_version 从 2.11.0 更改为 3.0.0。从软件包清单中删除了点状 YAML 键。将 owner.type: elastic 添加到软件包清单。

—

0.6.0

增强 (查看拉取请求)
添加 tags.yml 文件，以便使用“安全解决方案”标记集成的仪表板和保存的搜索，并在安全解决方案 UI 中显示。

—

0.5.0

增强 (查看拉取请求)
将软件包更新至 ECS 8.9.0。

—

0.4.0

增强 (查看拉取请求)
将软件包更新至 ECS 8.8.0。

—

0.3.0

增强 (查看拉取请求)
将 package-spec 版本更新至 2.7.0。

—

0.2.0

增强 (查看拉取请求)
将软件包更新至 ECS 8.7.0。

—

0.1.0

增强 (查看拉取请求)
初始版本

—
« Google Cloud Google Cloud Platform 集成 »

On this page

Was this helpful?
Feedback