« AWS Lambda AWS 网络防火墙 »
Elastic 文档 ›Elastic 集成 ›AWS 集成

自定义 AWS 日志集成

编辑

自定义 AWS 日志集成

编辑

版本

1.5.1 (查看全部)

兼容的 Kibana 版本

8.16.0 或更高版本

支持的无服务器项目类型
这是什么？

安全
可观测性

订阅级别
这是什么？

基本

支持级别
这是什么？

Elastic

自定义 AWS 输入集成提供了两种从 AWS 收集日志的方式：从 S3 存储桶（带有或不带有 SQS 通知）和从 CloudWatch。可以通过将名称添加到管道配置选项中来添加自定义摄取管道。创建自定义摄取管道可以通过 API 或摄取节点管道 UI完成。

从 S3 存储桶收集日志

编辑

启用从 S3 存储桶收集日志时，用户可以从 SQS 队列读取的 S3 通知事件指向的 S3 对象检索日志，也可以直接轮询 S3 存储桶中的 S3 对象列表。

首选使用 SQS 通知：轮询 S3 对象列表在性能和成本方面都很昂贵，因此最好仅在无法将 SQS 通知附加到 S3 存储桶时使用。此输入集成还支持从 SNS 到 SQS 的 S3 通知。

可以通过设置 queue_url 配置值来启用 SQS 通知方法。可以通过设置 bucket_arn 配置值和 number_of_workers 值来启用 S3 存储桶列表轮询方法。queue_url 和 bucket_arn 不能同时设置，并且必须设置这两个值中的至少一个。

要访问 SQS 和 S3，需要这些特定的 AWS 权限。

从 CloudWatch 收集日志

编辑

启用从 CloudWatch 收集日志时，用户可以从特定日志组中的所有日志流检索日志。使用 filterLogEvents AWS API 列出指定日志组中的日志事件。Amazon CloudWatch Logs 可用于存储来自 Amazon Elastic Compute Cloud (EC2)、AWS CloudTrail、Route53 和其他来源的日志文件。

要访问 aws-cloudwatch，需要这些特定的 AWS 权限。

更新日志

编辑
更新日志
版本 详情 Kibana 版本

1.5.1

增强 (查看拉取请求)
为自定义 AWS 日志添加所需权限。

8.16.0 或更高版本

1.5.0

增强 (查看拉取请求)
添加在使用日志组前缀来派生匹配日志组时检查关联帐户的选项

8.16.0 或更高版本

1.4.2

Bug 修复 (查看拉取请求)
将 1.4.1 版本中删除的摄取管道输入选项重新添加回来。

8.12.0 或更高版本

1.4.1

Bug 修复 (查看拉取请求)
删除摄取管道输入选项。

8.12.0 或更高版本

1.4.0

增强 (查看拉取请求)
更新 file_selectors 字段以能够接收多行配置

8.12.0 或更高版本

1.3.1

Bug 修复 (查看拉取请求)
更新 max_number_of_messages 参数描述

8.12.0 或更高版本

1.3.0

增强 (查看拉取请求)
提高系统测试的清晰度和有效性。

8.12.0 或更高版本

1.2.0

增强 (查看拉取请求)
添加自定义设置变量，以允许将其他设置传递到输入。

8.12.0 或更高版本

1.1.0

增强 (查看拉取请求)
将软件包 format_version 更新为 3.0.2，并为敏感字段启用secret

8.12.0 或更高版本

1.0.0

增强 (查看拉取请求)
作为 GA 发布软件包。

8.0.0 或更高版本

0.6.0

增强 (查看拉取请求)
将软件包 format_version 更新为 3.0.0。

—

0.5.1

增强 (查看拉取请求)
删除重复的 number_of_workers 设置

—

0.5.0

增强 (查看拉取请求)
添加将事件重新路由到 logs-- 以用于通用数据流的权限

—

0.4.0

增强 (查看拉取请求)
添加使用 s3 输入的多行支持

—

0.3.3

增强 (查看拉取请求)
添加类别和/或子类别。

—

0.3.2

增强 (查看拉取请求)
添加所需字段 number of workers 以支持非 aws 存储桶，并添加默认值。

—

0.3.1

Bug 修复 (查看拉取请求)
为 aws-cloudwatch 输入添加延迟配置参数

—

0.3.0

增强 (查看拉取请求)
将默认区域设置公开到 UI

—

0.2.5

Bug 修复 (查看拉取请求)
将默认端点设置为空字符串

—

0.2.4

Bug 修复 (查看拉取请求)
修复代理 URL 文档渲染。

—

0.2.3

Bug 修复 (查看拉取请求)
修复 aws-cloudwatch 输入清单中日志流前缀变量的拼写错误

—

0.2.2

Bug 修复 (查看拉取请求)
更新 readme 文件

—

0.2.1

Bug 修复 (查看拉取请求)
添加 kibana 版本约束

—

0.2.0

增强 (查看拉取请求)
将 s3 输入和 cloudwatch 输入移动到同一个通用数据流中

—

0.1.0

增强 (查看拉取请求)
初始版本

—
« AWS Lambda AWS 网络防火墙 »