汇总作业

编辑

在 8.11.0 中已弃用。

汇总功能已弃用,将在未来的版本中移除。请改用降采样

汇总作业是一项定期任务,它会聚合由索引模式指定的索引中的数据,然后将其汇总到一个新的索引中。汇总索引是紧凑存储数月或数年历史数据以用于可视化和报告的好方法。

您可以使用导航菜单或全局搜索字段转到汇总作业页面。

List of currently active rollup jobs

在使用此功能之前,您应该熟悉汇总的工作方式。汇总历史数据是获取更详细信息的一个很好的来源。

所需权限

编辑

访问汇总作业需要manage_rollup集群权限。

要添加该权限,请使用导航菜单或全局搜索字段转到角色管理页面。

创建汇总作业

编辑

Kibana 通过引导您完成整个过程,使创建汇总作业变得容易。您需要填写名称、数据流以及希望汇总数据的频率。然后,您需要为汇总作业定义日期直方图聚合,并可以选择定义词条、直方图和指标聚合。

定义索引模式时,必须输入与输出汇总索引不同的名称。否则,该作业将尝试捕获汇总索引中的数据。例如,如果您的索引模式是metricbeat-*,则可以将汇总索引命名为rollup-metricbeat,但不能命名为metricbeat-rollup

Wizard that walks you through creation of a rollup job

启动、停止和删除汇总作业

编辑

保存汇总作业后,您将在汇总作业概览页面中看到它,您可以在其中深入研究以进行进一步调查。管理菜单使您可以启动、停止和删除汇总作业。您必须先停止汇总作业,然后才能删除它。

Rollup job details

创建汇总作业后,您无法更改它。要选择其他字段或重新定义词条,您必须删除现有作业,然后使用更新的规范创建一个新作业。请务必为新的汇总作业使用不同的名称,重复使用相同的名称可能会导致作业配置不匹配的问题。请参阅汇总作业配置

尝试一下:创建并可视化汇总数据

编辑

此示例创建一个汇总作业,以捕获来自示例 Web 日志的日志数据。在开始之前,请添加 Web 日志示例数据集

在此示例中,您希望将kibana_sample_data_logs索引中超过 7 天的数据汇总到rollup_logstash索引中。您将使用60m作为时间存储桶配置,按小时对汇总数据进行存储桶化。

对于此示例,该作业将每分钟执行一次汇总。但是,在生产环境中,您通常会降低汇总频率。

创建汇总作业

编辑

当您逐步完成创建汇总作业 UI 时,请输入数据

字段

名称

logs_job

索引模式

kibana_sample_data_logs

汇总索引名称

rollup_logstash

频率

每分钟

页面大小

1000

延迟缓冲区

7 天

日期字段

@timestamp

时间存储桶大小

60m

时区

UTC

词条

geo.src, machine.os.keyword

直方图

bytes, memory

直方图间隔

1000

指标

bytes(平均值)

查看并保存页面上,单击立即启动作业保存

词条、直方图和指标字段反映了要保留在汇总数据中的关键信息:访问者来自哪里 (geo.src)、他们正在使用什么操作系统 (machine.os.keyword) 以及正在发送多少数据 (bytes)。

您现在可以使用汇总数据进行分析,而存储成本仅为原始索引的一小部分。原始数据可以与新的汇总索引并存,或者您可以使用索引生命周期管理 (ILM)删除或存档它。

可视化汇总数据

编辑

下一步是在垂直条形图中可视化汇总数据。大多数可视化都支持汇总数据,但 Timelion 和 Vega 可视化除外。

  1. 使用导航菜单或全局搜索字段转到数据视图页面。
  2. 单击创建数据视图,然后从下拉列表中选择汇总数据视图
  3. 输入rollup_logstash,kibana_sample_logs作为您的数据视图,并输入@timestamp作为时间过滤器字段名称

    同时包含原始数据和汇总数据的组合数据视图的表示法是rollup_logstash,kibana_sample_data_logs。在此数据视图中,rollup_logstash与汇总索引匹配,而kibana_sample_data_logs与原始数据匹配。

  4. 转到仪表板,然后选择创建仪表板
  5. 时间过滤器设置为最近 90 天
  6. 在仪表板上,单击创建可视化
  7. 选择rollup_logstash,kibana_sample_data_logs作为您的源,以查看原始数据和汇总数据。

    Create visualization of rolled up data
  8. 在图表类型下拉列表中选择条形图
  9. @timestamp字段添加到水平轴
  10. bytes字段添加到垂直轴,默认为字节平均值

    Kibana 会创建您的数据的垂直条形图。选择图表的一部分以进行放大。

    Dashboard with rolled up data