从 Splunk 添加数据
编辑从 Splunk 添加数据
编辑此功能为技术预览版,可能会在未来的版本中更改或删除。Elastic 将努力修复任何问题,但技术预览版中的功能不受官方 GA 功能的支持 SLA 约束。
Apache、AWS CloudTrail、Nginx 和 Zeek 集成提供了从 Splunk Enterprise 实例无缝摄取数据的功能。数据将自动映射到 Elastic Common Schema,使其可在 Elastic 解决方案(包括安全性和可观察性)中进行快速分析。
这些集成通过使用 Elastic Agent 中的 httpjson
输入,经由 Splunk REST API 运行 Splunk 搜索,然后从结果中提取原始事件来工作。然后,通过 Elastic Agent 处理原始事件。Splunk 搜索可自定义,搜索之间的间隔也可自定义。这些集成仅获取自上次查询以来的新数据,而不是历史数据。
要从 Splunk 摄取 Nginx 数据,请执行以下步骤。Apache、AWS CloudTrail 和 Zeek 的选项相同。
先决条件
编辑要遵循本指南中的步骤,您需要一个包含以下内容的 Elastic Stack 部署:
- 用于存储和搜索数据的 Elasticsearch
- 用于可视化和管理数据的 Kibana
- 在 Fleet 和 Integrations 上具有
All
权限的 Kibana 用户。由于许多 Integrations 资产在空间之间共享,因此用户需要在所有空间中具有 Kibana 权限。 - Integrations Server(默认包含在每个 Elasticsearch Service 部署中)
要快速开始,请启动我们托管的 Elasticsearch Service 部署。Elasticsearch Service 可在 AWS、GCP 和 Azure 上使用。免费试用。
步骤 1:添加集成
编辑在主菜单中找到 集成,或使用全局搜索字段。搜索并添加 nginx 集成。有关添加集成的详细步骤,请参阅系统指标入门。
步骤 2:启用“从第三方 REST API 收集日志”
编辑启用“从第三方 REST API 收集日志”,并禁用“从 Nginx 实例收集日志”和“从 Nginx 实例收集指标”。
步骤 3:输入连接信息
编辑输入连接到 Splunk Enterprise REST API 所需的信息。
Splunk Enterprise Server 的 URL 必须包括方案(http
或 https
)、Splunk Enterprise Server 的 IP 地址或主机名,以及 REST API 正在侦听的端口。
Splunk 用户名和密码必须是具有使用 REST API 端点的角色或功能的用户。默认情况下,管理用户具有这些权限。
“高级选项”下提供了 SSL 配置。如果 Splunk Enterprise 服务器使用自签名证书,则这些配置可能很有必要。有关有效的配置选项,请参阅SSL 选项。
步骤 4:输入从 Splunk 选择数据的信息
编辑对于每种类型的日志文件,输入间隔和 Splunk 搜索字符串。
该间隔以Go 时长表示。间隔是发送到 Splunk Enterprise REST API 请求新信息之间的请求时间。不建议使用小于一秒的间隔;Splunk 仅对索引时间保持秒级精度。间隔应与数据到达 Splunk Enterprise Server 的速率密切匹配。例如,对于仅每小时到达 Splunk Enterprise Server 的数据,间隔为“5s”将在 Splunk Enterprise Server 上产生不必要的负载。
搜索字符串是用于唯一描述与您尝试配置的日志文件类型匹配的事件的 Splunk 搜索。例如,要唯一描述 Nginx 访问日志,可以使用 search sourcetype=nginx:plus:access
。请注意,搜索字符串必须以“search”开头,有关详细信息,请参阅 Splunk REST API 手册和“search/jobs/export”端点。
请注意,每次 Elastic Agent 连接到 Splunk Enterprise REST API 时,都会执行 Splunk 搜索。因此,您需要确保搜索字符串尽可能具体,因为这会减少 Splunk Enterprise Server 上的负载。
可以在“高级选项”中添加标记。例如,如果您想使用 Splunk 标记标记来自 Splunk 的事件,可以在此处添加它。默认情况下,会存在转发标记,以指示事件正在通过中间媒介(即 Splunk)转发。
步骤 5:保存集成
编辑单击“保存集成”
数据和仪表板将像您使用日志文件在 Nginx 主机上收集数据一样可用。
注意事项和问题
编辑运行代理的主机和 Splunk Enterprise Server 上的时间应与同一时间源同步,并具有正确的时区信息。否则可能会导致数据传输延迟或接收到的数据出现缺口。
Splunk 数据是否需要特定的格式或映射到 Splunk 的通用信息模型? 不需要,因为这些集成从 Splunk 获取原始事件并进行处理。没有任何对 Splunk 处理的依赖性。
事件是否映射到 Elastic Common Schema (ECS)? 是的,来自这些集成的事件将经历与 Elastic Agent 从原始来源获取事件时完全相同的处理。因此,会发生相同级别的 ECS 映射。