汇总作业编辑

已在 8.11.0 中弃用。

汇总功能已被弃用,并将在未来的版本中移除。请改用 下采样

汇总作业是一项定期任务,它从索引模式指定的索引中聚合数据,然后将其汇总到一个新的索引中。汇总索引是一种很好的方法,可以紧凑地存储数月或数年的历史数据,以便在可视化和报告中使用。

要开始使用,请打开主菜单,然后单击 堆栈管理 > 汇总作业

List of currently active rollup jobs

在使用此功能之前,您应该熟悉汇总的工作原理。汇总历史数据 是获取更多详细信息的良好资源。

所需权限编辑

访问 汇总作业 需要 manage_rollup 集群权限。

要添加权限,请打开主菜单,然后单击 堆栈管理 > 角色

创建汇总作业编辑

Kibana 通过引导您完成整个过程,使您能够轻松创建汇总作业。您需要填写名称、数据流以及汇总数据的频率。然后,您需要为汇总作业定义日期直方图聚合,并可以选择定义词条、直方图和指标聚合。

定义索引模式时,您必须输入一个与输出汇总索引不同的名称。否则,作业将尝试捕获汇总索引中的数据。例如,如果您的索引模式是 metricbeat-*,则可以将汇总索引命名为 rollup-metricbeat,但不能命名为 metricbeat-rollup

Wizard that walks you through creation of a rollup job

启动、停止和删除汇总作业编辑

保存汇总作业后,您将在 汇总作业 概览页面中看到它,您可以在其中进行深入调查。管理 菜单允许您启动、停止和删除汇总作业。您必须先停止汇总作业,然后才能将其删除。

Rollup job details

创建汇总作业后,您将无法对其进行更改。要选择其他字段或重新定义词条,您必须删除现有作业,然后使用更新后的规范创建一个新作业。请确保为新的汇总作业使用不同的名称 - 重新使用相同的名称可能会导致作业配置不匹配的问题。请参阅 汇总作业配置

试一试:创建汇总数据并将其可视化编辑

本示例创建一个汇总作业,用于从示例 Web 日志中捕获日志数据。在开始之前,请 添加 Web 日志示例数据集

在本例中,您希望将 kibana_sample_data_logs 索引中超过 7 天的数据汇总到 rollup_logstash 索引中。您将按小时对汇总数据进行分桶,使用 60m 作为时间桶配置。

在本例中,作业将每分钟执行一次汇总。但是,在生产环境中,您通常汇总的频率会更低。

创建汇总作业编辑

在您浏览 创建汇总作业 UI 时,请输入数据

字段

名称

logs_job

索引模式

kibana_sample_data_logs

汇总索引名称

rollup_logstash

频率

每分钟

页面大小

1000

延迟缓冲区

7d

日期字段

@timestamp

时间桶大小

60m

时区

UTC

词条

geo.src, machine.os.keyword

直方图

bytes, memory

直方图间隔

1000

指标

bytes(平均值)

查看并保存 页面上,单击 立即启动作业保存

词条、直方图和指标字段反映了要在汇总数据中保留的关键信息:访问者来自哪里 (geo.src)、他们使用什么操作系统 (machine.os.keyword) 以及发送了多少数据 (bytes)。

您现在可以使用汇总数据进行分析,而存储成本仅为原始索引的一小部分。原始数据可以与新的汇总索引共存,您也可以使用 索引生命周期管理 (ILM) 删除或归档原始数据。

可视化汇总数据编辑

下一步是在垂直条形图中可视化您的汇总数据。大多数可视化都支持汇总数据,但 Timelion 和 Vega 可视化除外。

  1. 打开主菜单,然后单击 堆栈管理 > 数据视图
  2. 单击 创建数据视图,然后从下拉列表中选择 汇总数据视图
  3. 输入 rollup_logstash,kibana_sample_logs 作为您的 数据视图,并输入 @timestamp 作为 时间过滤器字段名称

    同时包含原始数据和汇总数据的组合数据视图的表示法为 rollup_logstash,kibana_sample_data_logs。在此数据视图中,rollup_logstash 与汇总索引匹配,kibana_sample_data_logs 与原始数据匹配。

  4. 打开主菜单,单击 仪表板,然后单击 创建仪表板
  5. 时间过滤器 设置为 过去 90 天
  6. 在仪表板上,单击 创建可视化
  7. 选择 rollup_logstash,kibana_sample_data_logs 作为您的来源,以查看原始数据和汇总数据。

    Create visualization of rolled up data
  8. 在图表类型下拉列表中选择 垂直堆叠条形图
  9. @timestamp 字段添加到 水平轴
  10. bytes 字段添加到 垂直轴,默认为 bytes 的平均值

    Kibana 将创建数据的垂直条形图。选择图表的一部分以放大。

    Dashboard with rolled up data