自定义 GCS (Google Cloud Storage) 输入
编辑自定义 GCS (Google Cloud Storage) 输入
编辑使用 Google Cloud Storage 输入 从存储在 Google Cloud 上的存储桶中的文件中读取内容。该输入可以配置为使用轮询或不使用轮询，但目前，如果禁用轮询，它将仅执行一次传递，列出文件内容并结束进程。通常建议在大多数情况下使用轮询，即使它在处理大量文件时可能会变得很昂贵。
为了减轻错误并确保稳定的处理环境，此输入采用了以下功能
- 在处理 Google Cloud 存储桶时，如果突然发生任何中断，该进程将能够在处理完上次处理的文件并成功保存状态后恢复。
- 如果某些文件发生任何错误，它们将被适当地记录，但其余文件将继续正常处理。
- 如果发生任何阻止主线程的重大错误，将适当地生成日志，描述该错误。
目前，关于对象/文件格式，仅支持 JSON。我们也支持 gzip 压缩的 JSON 对象/文件。对于身份验证类型，我们目前支持 JSON 凭证密钥 和 凭证文件。如果文件/对象的下载失败或中断，则下载会重试两次，这相当于特定文件/对象最多尝试三次。此行为目前不是用户可配置的。
GCS 凭证密钥文件
编辑这是一次性下载的 JSON 密钥文件，您在将密钥添加到 GCP 服务帐户后会获得该文件。如果您刚刚开始创建 GCS 存储桶，请执行以下操作
-
确保您有一个可用的服务帐户，如果没有，请按照以下步骤操作
- 导航至API 和服务 > 凭证
- 点击创建凭证 > 服务帐户
- 创建服务帐户后，您可以导航到密钥部分并附加/生成您的服务帐户密钥。
- 确保在提示时下载 JSON 密钥文件。
- 以内联方式（JSON 字符串对象）或通过指定主机上文件路径的方式使用此 JSON 密钥文件，代理在该主机上运行。
JSON 凭证文件的示例如下所示
{
"type": "dummy_service_account",
"project_id": "dummy-project",
"private_key_id": "dummy-private-key-id",
"private_key": "-----BEGIN PRIVATE KEY-----\nDummyPrivateKey\n-----END PRIVATE KEY-----\n",
"client_email": "[email protected]",
"client_id": "12345678901234567890",
"auth_uri": "https://dummy-auth-uri.com",
"token_uri": "https://dummy-token-uri.com",
"auth_provider_x509_cert_url": "https://dummy-auth-provider-cert-url.com",
"client_x509_cert_url": "https://dummy-client-cert-url.com",
"universe_domain": "dummy-universe-domain.com"
}
注意
- 使用 GCS 集成时，如果您使用内联 JSON 凭证，则必须在单引号内指定整个 JSON 对象，即
'{GCS_CREDS_JSON_OBJECT}'
配置输入
编辑假设您已经设置了 GCS 存储桶并且服务帐户密钥可用，请参考输入文档 此处，了解有关集成使用的特定参数的更多详细信息。
ECS 字段映射
编辑此集成包含 ECS 动态模板，所有遵循 ECS 架构的字段都将被分配正确的索引字段映射，无需手动添加。
摄取管道
编辑可以通过将名称添加到管道配置选项来添加自定义摄取管道，可以通过 API 或摄取节点管道 UI 创建自定义摄取管道。
变更日志
编辑变更日志
| 版本 | 详细信息 | Kibana 版本 |
|---|---|---|
2.1.0 |
增强 (查看拉取请求) |
8.13.0 或更高版本 |
2.0.0 |
增强 (查看拉取请求) |
8.12.0 或更高版本 |
1.1.0 |
增强 (查看拉取请求) |
8.12.0 或更高版本 |
1.0.1 |
增强 (查看拉取请求) |
8.11.0 或更高版本 |
1.0.0 |
增强 (查看拉取请求) |
8.11.0 或更高版本 |
0.9.0 |
增强 (查看拉取请求) |
— |
0.8.0 |
增强 (查看拉取请求) |
— |
0.7.0 |
增强 (查看拉取请求) |
— |
0.6.0 |
增强 (查看拉取请求) |
— |
0.5.0 |
增强 (查看拉取请求) |
— |
0.4.0 |
增强 (查看拉取请求) |
— |
0.3.0 |
增强 (查看拉取请求) |
— |
0.2.0 |
增强 (查看拉取请求) |
— |
0.1.0 |
增强 (查看拉取请求) |
— |