日志数据流

日志数据流是一种数据流类型，它能更高效地存储日志数据。

在基准测试中，存储在日志数据流中的日志数据比常规数据流节省约 2.5 倍的磁盘空间。实际影响因数据集而异。

要创建日志数据流，请将您的模板 index.mode 设置为 logsdb。

resp = client.indices.put_index_template(
    name="my-index-template",
    index_patterns=[
        "logs-*"
    ],
    data_stream={},
    template={
        "settings": {
            "index.mode": "logsdb"
        }
    },
    priority=101,
)
print(resp)

const response = await client.indices.putIndexTemplate({
  name: "my-index-template",
  index_patterns: ["logs-*"],
  data_stream: {},
  template: {
    settings: {
      "index.mode": "logsdb",
    },
  },
  priority: 101,
});
console.log(response);

PUT _index_template/my-index-template
{
  "index_patterns": ["logs-*"],
  "data_stream": { },
  "template": {
     "settings": {
        "index.mode": "logsdb" 
     }
  },
  "priority": 101 
}

创建索引模板后，使用该模板的新索引将被配置为日志数据流。您可以开始索引数据并使用数据流。

您还可以在Elastic UI中设置索引模式并调整其他模板设置。

如果您拥有所需的订阅，则 logsdb 索引模式使用合成的 _source，它会省略存储原始的 _source 字段。相反，文档源会在文档检索时从 doc values 或存储字段合成。

如果您没有所需的订阅，则 logsdb 模式将使用原始的 _source 字段。

在使用合成源之前，请务必查看限制。

在使用多值字段时，index.mapping.synthetic_source_keep 设置控制如何为合成源重建保留字段值。在 logsdb 中，默认值为 arrays，它会保留重复值和条目的顺序。但是，不一定保留数组元素和对象的精确结构。保留重复项和排序对于某些日志字段（例如 DNS A 记录、HTTP 标头以及表示顺序或重复事件的日志条目）至关重要。

在 logsdb 索引模式中，默认应用以下排序设置

您可以覆盖这些默认排序设置。例如，要在不同的字段上排序并更改顺序，请手动配置 index.sort.field 和 index.sort.order。有关详细信息，请参阅索引排序。

使用默认排序设置时，host.name 字段会自动作为 keyword 字段注入到索引映射中，以确保可以应用排序。这保证了日志可以根据 host.name 和 @timestamp 字段进行高效排序和检索。

要将不同的排序设置应用于现有的数据流，请更新数据流的组件模板，然后执行或等待滚动更新。

如果您要在已存在的数据流上启用 logsdb 索引模式，请务必检查映射和排序。logsdb 模式会自动将 host.name 映射为关键字（如果它包含在排序设置中）。如果 host.name 字段已存在但具有不同的类型，则可能会发生映射错误，从而阻止完全应用 logsdb 模式。

为避免映射冲突，请考虑以下选项

默认情况下，logsdb 索引模式使用 best_compression 编解码器，它将 ZSTD 压缩应用于存储的字段。您可以切换到 default 编解码器以实现更快的压缩，但存储空间会略大。

logsdb 索引模式还自动将专用编解码器应用于数值 doc values，以优化存储使用率。数值字段使用以下编解码器序列进行编码

每个编码都根据数据分布确定的启发式方法进行评估。例如，该算法检查数据是否单调非递减或非递增。如果是，则应用增量编码；否则，该过程将继续使用下一种编码方法（偏移）。

编码特定于每个 Lucene 段，并在合并段时重新应用。合并的 Lucene 段可能会使用与原始段不同的编码，具体取决于合并数据的特性。

对于关键字字段，行程长度编码 (RLE) 将应用于序号，这些序号表示 Lucene 段级关键字字典中的位置。当多个连续文档共享同一关键字时，会使用此压缩。

logsdb 索引模式使用以下 ignore 设置。您可以根据需要覆盖这些设置。

默认情况下，logsdb 索引模式将 ignore_malformed 设置为 true。使用此设置，可以索引包含格式错误的字段的文档，而不会导致摄取失败。

在 logsdb 索引模式下，默认情况下，index.mapping.ignore_above 设置应用于索引级别，以确保大型关键字字段的有效存储和索引。索引级别的 ignore_above 默认值为 8191 个字符。使用 UTF-8 编码，这会导致 32764 字节的限制（具体取决于字符编码）。

映射级别的 ignore_above 设置优先。如果某个特定字段的映射中定义了 ignore_above 值，则该值将覆盖索引级别的 index.mapping.ignore_above 值。此默认行为有助于通过阻止索引过大的字符串值来优化索引性能。

如果您需要自定义限制，可以在映射级别覆盖它或更改索引级别的默认值。

在 logsdb 索引模式中，默认情况下，index.mapping.total_fields.ignore_dynamic_beyond_limit 设置为 true。此设置允许在静态定义的字段之上添加动态映射的字段，即使字段总数超过了 index.mapping.total_fields.limit。其他动态映射的字段将被忽略，以便继续摄取，而不是触发索引失败。

当 logsdb 索引模式使用合成 _source 并且映射中某个字段禁用了 doc_values 时，Elasticsearch 可能会将该字段的 store 设置为 true。这确保了在使用合成源时，字段的数据仍然可以用于重建文档的源。

例如，当 store 为 false 且没有可用于重建原始值的合适多字段时，文本字段会发生此调整。

logsdb 索引模式使用以下设置