数据集质量监控
Elastic Stack Serverless
数据集质量页面提供了您的日志、指标、跟踪和合成数据集的概览。使用此信息来了解您的整体数据集质量,并查找包含错误解析文档的数据集。
要打开数据集质量,请在主菜单中找到堆栈管理或使用全局搜索字段。默认情况下,该页面仅显示日志数据集。要查看其他数据集类型,请从类型菜单中选择它们。
具有 viewer
角色的用户可以查看数据集质量摘要。要查看活动数据集和估计数据摘要,用户需要 logs-*-*
索引的 monitor
索引权限。
数据集的质量基于每个数据集中降级文档的百分比。数据集中的降级文档包含 _ignored
属性,因为在索引期间忽略了它的一个或多个字段。忽略字段的原因有很多。例如,当 ignore_malformed
参数设置为 true 时,如果文档字段包含错误的数据类型,则会忽略格式错误的字段,并索引文档的其余部分。
从数据集表格中,您可以找到每个数据集的信息,例如其命名空间、数据集上次活动的时间以及降级文档的百分比。降级文档的百分比根据以下比例确定数据集的质量
- 良好 (
): 数据集中 0% 的文档已降级。
- 降级 (
): 数据集中大于 0% 且最多 3% 的文档已降级。
- 差 (
): 数据集中大于 3% 的文档已降级。
打开特定数据集的详细信息会显示降级文档历史记录、数据集的摘要以及其他详细信息,这些信息可以帮助您确定是否需要调查任何问题。
数据集质量页面提供了几种不同的方式来帮助您查找忽略的字段并调查问题。从数据集表格中,您可以打开数据集的详细信息页面,并查看通常忽略的字段以及有关这些字段的信息。在 Discover 中打开日志数据集或其他数据集中打开 Discover 以查找单个文档中忽略的字段。
要打开质量差或降级的数据集的详细信息页面并查看忽略的字段
- 从数据集表格中,单击质量差或降级的数据集旁边的
。
- 从详细信息中,向下滚动到 质量问题。
质量问题 部分显示已忽略的字段、包含忽略字段的文档数量以及上次忽略该字段的时间戳。
要使用 Discover 查找单个日志中忽略的字段
- 使用数据集表格的 降级文档 列查找具有降级文档的数据集。
- 单击 降级文档 列中的百分比以在 Discover 中打开数据集。
Discover 中的 文档 表会自动筛选以显示未正确解析的文档。在 操作 列下,您会找到降级文档图标 ()。
现在您知道哪些文档包含忽略的字段,请更仔细地检查它们以找到问题的根源
- 在 操作 列下,单击
以打开文档详细信息。
- 选择 JSON 选项卡。
- 滚动到 JSON 的末尾以找到
ignored_field_values
。
在这里,您会找到文档中所有 _ignored
字段及其值,这些值应提供一些关于为什么忽略这些字段的线索。