机器学习

编辑

随着数据集的大小和复杂性不断增加,检查仪表板或维护规则来发现基础设施问题、网络攻击或业务问题所需的人力投入变得不切实际。Elastic 机器学习功能(如异常检测和离群值检测)可以最大限度地减少人为干预,从而更容易发现可疑活动。

Kibana 包含一个免费的 数据可视化工具,可帮助您了解有关数据的更多信息。特别是,如果您的数据存储在 Elasticsearch 中并包含时间字段,则可以使用 数据可视化工具来识别可能用于异常检测的字段。

Data Visualizer for sample flight data

您可以使用 数据可视化工具上传不同的文件格式进行分析。

支持最大 500 MB 的文件格式

  • CSV
  • TSV
  • NDJSON
  • 日志文件

支持最大 60 MB 的文件格式

  • PDF
  • Microsoft Office 文件(Word、Excel、PowerPoint)
  • 纯文本 (TXT)
  • 富文本 (RTF)
  • 开放文档格式 (ODF)

数据可视化工具 会识别文件格式和字段映射,您可以将数据导入 Elasticsearch 索引。要更改默认的文件大小限制,请参阅高级设置中的 fileUpload:maxFileSize

如果启用了 Elastic Stack 安全功能,用户必须具有使用机器学习功能所需的权限。请参阅 设置机器学习功能

机器学习功能存在一些限制,会影响 Kibana。有关详细信息,请参阅 机器学习

数据漂移

编辑

此功能为技术预览版,可能会在未来的版本中更改或删除。Elastic 将努力修复任何问题,但技术预览版的功能不受官方 GA 功能的支持 SLA 约束。

您可以在 Kibana 中的 机器学习 > 数据可视化工具 中找到数据漂移视图,也可以使用 全局搜索字段。数据漂移视图显示给定数据视图中两个不同时间范围内每个字段的差异。该视图可帮助您可视化数据随时间的变化,并使您更好地了解其行为。

Data drift view in Kibana

选择要分析的数据视图,然后在出现的直方图表中选择参考数据和比较数据的时间范围。您可以通过移动相应的画笔来调整参考数据和比较数据的时间范围。设置完时间范围后,单击 运行分析

您可以决定是要查看数据视图中的所有字段,还是仅查看包含漂移数据的字段。分析结果表显示字段、其类型、是否检测到漂移、指示检测到的变化有多显著的 p 值、参考分布和比较分布以及比较图表。您可以单击字段行开头的箭头图标来展开特定字段的结果。