汇总作业
编辑汇总作业编辑
已在 8.11.0 中弃用。
汇总功能已被弃用,并将在未来的版本中移除。请改用 下采样。
汇总作业是一项定期任务,它从索引模式指定的索引中聚合数据,然后将其汇总到一个新的索引中。汇总索引是一种很好的方法,可以紧凑地存储数月或数年的历史数据,以便在可视化和报告中使用。
要开始使用,请打开主菜单,然后单击 堆栈管理 > 汇总作业。
在使用此功能之前,您应该熟悉汇总的工作原理。汇总历史数据 是获取更多详细信息的良好资源。
所需权限编辑
访问 汇总作业 需要 manage_rollup
集群权限。
要添加权限,请打开主菜单,然后单击 堆栈管理 > 角色。
创建汇总作业编辑
Kibana 通过引导您完成整个过程,使您能够轻松创建汇总作业。您需要填写名称、数据流以及汇总数据的频率。然后,您需要为汇总作业定义日期直方图聚合,并可以选择定义词条、直方图和指标聚合。
定义索引模式时,您必须输入一个与输出汇总索引不同的名称。否则,作业将尝试捕获汇总索引中的数据。例如,如果您的索引模式是 metricbeat-*
,则可以将汇总索引命名为 rollup-metricbeat
,但不能命名为 metricbeat-rollup
。
启动、停止和删除汇总作业编辑
保存汇总作业后,您将在 汇总作业 概览页面中看到它,您可以在其中进行深入调查。管理 菜单允许您启动、停止和删除汇总作业。您必须先停止汇总作业,然后才能将其删除。
创建汇总作业后,您将无法对其进行更改。要选择其他字段或重新定义词条,您必须删除现有作业,然后使用更新后的规范创建一个新作业。请确保为新的汇总作业使用不同的名称 - 重新使用相同的名称可能会导致作业配置不匹配的问题。请参阅 汇总作业配置。
试一试:创建汇总数据并将其可视化编辑
本示例创建一个汇总作业,用于从示例 Web 日志中捕获日志数据。在开始之前,请 添加 Web 日志示例数据集。
在本例中,您希望将 kibana_sample_data_logs
索引中超过 7 天的数据汇总到 rollup_logstash
索引中。您将按小时对汇总数据进行分桶,使用 60m
作为时间桶配置。
在本例中,作业将每分钟执行一次汇总。但是,在生产环境中,您通常汇总的频率会更低。
创建汇总作业编辑
在您浏览 创建汇总作业 UI 时,请输入数据
字段 | 值 |
---|---|
名称 |
|
索引模式 |
|
汇总索引名称 |
|
频率 |
每分钟 |
页面大小 |
1000 |
延迟缓冲区 |
7d |
日期字段 |
@timestamp |
时间桶大小 |
60m |
时区 |
UTC |
词条 |
geo.src, machine.os.keyword |
直方图 |
bytes, memory |
直方图间隔 |
1000 |
指标 |
bytes(平均值) |
在 查看并保存 页面上,单击 立即启动作业 和 保存。
词条、直方图和指标字段反映了要在汇总数据中保留的关键信息:访问者来自哪里 (geo.src)、他们使用什么操作系统 (machine.os.keyword) 以及发送了多少数据 (bytes)。
您现在可以使用汇总数据进行分析,而存储成本仅为原始索引的一小部分。原始数据可以与新的汇总索引共存,您也可以使用 索引生命周期管理 (ILM) 删除或归档原始数据。
可视化汇总数据编辑
下一步是在垂直条形图中可视化您的汇总数据。大多数可视化都支持汇总数据,但 Timelion 和 Vega 可视化除外。
- 打开主菜单,然后单击 堆栈管理 > 数据视图。
- 单击 创建数据视图,然后从下拉列表中选择 汇总数据视图。
-
输入 rollup_logstash,kibana_sample_logs 作为您的 数据视图,并输入
@timestamp
作为 时间过滤器字段名称。同时包含原始数据和汇总数据的组合数据视图的表示法为
rollup_logstash,kibana_sample_data_logs
。在此数据视图中,rollup_logstash
与汇总索引匹配,kibana_sample_data_logs
与原始数据匹配。 - 打开主菜单,单击 仪表板,然后单击 创建仪表板。
- 将 时间过滤器 设置为 过去 90 天。
- 在仪表板上,单击 创建可视化。
-
选择
rollup_logstash,kibana_sample_data_logs
作为您的来源,以查看原始数据和汇总数据。 - 在图表类型下拉列表中选择 垂直堆叠条形图。
- 将
@timestamp
字段添加到 水平轴。 -
将
bytes
字段添加到 垂直轴,默认为bytes 的平均值
。Kibana 将创建数据的垂直条形图。选择图表的一部分以放大。