filestream 输入

正则表达式列表，用于匹配您希望 Filebeat 包含的文件。如果提供了正则表达式列表，则仅获取模式允许的文件。

默认情况下，不会排除任何文件。此选项与 prospector.scanner.exclude_files 相反。

以下示例将 Filebeat 配置为排除不在 /var/log 下的文件

filebeat.inputs:
- type: filestream
  ...
  prospector.scanner.include_files: ['^/var/log/.*']

有关受支持的正则表达式模式列表，请参阅 正则表达式支持。

symlinks 选项允许 Filebeat 除了获取常规文件外，还可以获取符号链接。获取符号链接时，即使 Filebeat 报告的是符号链接的路径，它也会打开并读取原始文件。

为采集配置符号链接时，请确保排除原始路径。如果将单个输入配置为同时采集符号链接和原始文件，Filebeat 将会检测到该问题，并且仅处理它找到的第一个文件。但是，如果配置了两个不同的输入（一个用于读取符号链接，另一个用于读取原始路径），则将采集这两个路径，导致 Filebeat 发送重复数据，并且输入会覆盖彼此的状态。

如果指向日志文件的符号链接的文件名中包含其他元数据，并且您想在 Logstash 中处理元数据，则 symlinks 选项可能会有用。例如，Kubernetes 日志文件就是这种情况。

由于此选项可能会导致数据丢失，因此默认情况下禁用此选项。

如果启用此选项，则在文件大小未更改但修改时间更改为比以前更晚的时间时，会重新发送该文件。默认情况下禁用此选项，以避免意外重新发送文件。

prospector.scanner.check_interval编辑

Filebeat 检查指定用于采集的路径中是否有新文件的频率。例如，如果您指定了类似 /var/log/* 的通配符，则会使用 check_interval 指定的频率扫描目录中的文件。指定 1s 以尽可能频繁地扫描目录，而不会导致 Filebeat 扫描过于频繁。我们不建议将此值设置为 <1s。

如果您需要近乎实时地发送日志行，请不要使用非常低的 check_interval，而是调整 close.on_state_change.inactive，以便文件处理程序保持打开状态并不断轮询您的文件。

默认设置为 10 秒。

prospector.scanner.fingerprint编辑

比较文件时，不依赖于设备 ID 和 inode 值，而是比较给定字节范围内的文件哈希值。

如果由于文件系统提供的文件标识符不稳定而导致数据丢失或数据重复，请启用此选项。

以下是一些可能发生这种情况的情况

配置

默认情况下，指纹模式处于禁用状态。

通常，日志行包含时间戳和其他唯一字段，这些字段应该能够使用指纹模式，但在每个用例中，用户都应该检查其日志，以确定 offset 和 length 参数的适当值。默认 offset 为 0，默认 length 为 1024 或 1 KB。length 不能小于 64。

fingerprint:
  enabled: false
  offset: 0
  length: 1024

ignore_older编辑

如果启用此选项，Filebeat 将忽略在指定时间段之前修改的所有文件。如果您长时间保留日志文件，则配置 ignore_older 特别有用。例如，如果您想启动 Filebeat，但只想发送最新的文件和上周的文件，则可以配置此选项。

您可以使用时间字符串，例如 2h（2 小时）和 5m（5 分钟）。默认值为 0，表示禁用该设置。注释掉该配置与将其设置为 0 具有相同的效果。

受此设置影响的文件分为两类

对于以前从未见过的文件，偏移量状态设置为文件的末尾。如果状态已存在，则偏移量将重置为文件的大小。如果稍后再次更新文件，则读取将从设置的偏移量位置继续。

ignore_older 设置依赖于文件的修改时间来确定是否忽略文件。如果将行写入文件时未更新文件的修改时间（这在 Windows 上可能会发生），则 ignore_older 设置可能会导致 Filebeat 忽略文件，即使在稍后时间添加了内容也是如此。

要从注册表文件中删除先前采集的文件的状态，请使用 clean_inactive 配置选项。

在 Filebeat 可以忽略文件之前，必须先关闭该文件。要确保在忽略文件时不再采集该文件，您必须将 ignore_older 设置为比 close.on_state_change.inactive 更长的持续时间。

如果当前正在采集的文件属于 ignore_older，则采集器将首先完成文件的读取，并在达到 close.on_state_change.inactive 后关闭该文件。然后，在那之后，该文件将被忽略。

ignore_inactive编辑

如果启用此选项，Filebeat 将忽略自选定时间以来未更新的每个文件。可能的选项是 since_first_start 和 since_last_start。第一个选项忽略自 Filebeat 首次启动以来未更新的每个文件。当 Beat 可能由于配置更改或故障而重新启动时，此选项很有用。第二个选项告诉 Beat 从自其启动以来已更新的文件中读取。

受此设置影响的文件分为两类

对于以前从未见过的文件，偏移量状态设置为文件的末尾。如果状态已存在，则偏移量不会更改。如果稍后再次更新文件，则读取将从设置的偏移量位置继续。

该设置依赖于文件的修改时间来确定是否忽略文件。如果将行写入文件时未更新文件的修改时间（这在 Windows 上可能会发生），则该设置可能会导致 Filebeat 忽略文件，即使在稍后时间添加了内容也是如此。

要从注册表文件中删除先前采集的文件的状态，请使用 clean_inactive 配置选项。

take_over编辑

如果将 take_over 设置为 true，则如果文件至少与 filestream 中设置的 paths 中的一个匹配，则此 filestream 将接管 log 输入中的所有文件。

创建此 take over 模式是为了实现从已弃用的 log 输入到新的 filestream 输入的顺利迁移。

有关迁移过程的更多详细信息，请参阅将 log 输入配置迁移到 filestream。

close.*编辑

close.* 配置选项用于在满足特定条件或时间后关闭采集器。关闭采集器意味着关闭文件处理程序。如果在关闭采集器后更新了文件，则在 prospector.scanner.check_interval 过去后，将再次拾取该文件。但是，如果在关闭采集器时移动或删除了文件，Filebeat 将无法再次拾取该文件，并且采集器尚未读取的任何数据都将丢失。

close.on_state_change.* 设置异步应用于从文件中读取，这意味着如果 Filebeat 由于输出阻塞、队列已满或其他问题而处于阻塞状态，则无论如何都会关闭文件。

close.on_state_change.inactive编辑

启用此选项后，如果在指定的持续时间内未采集文件，Filebeat 将关闭文件句柄。定义的周期计数器在采集器读取最后一行日志时启动。它不基于文件的修改时间。如果已关闭的文件再次发生更改，则会启动新的采集器，并在 prospector.scanner.check_interval 过去后拾取最新的更改。

我们建议您将 close.on_state_change.inactive 设置为一个大于日志文件最不频繁更新频率的值。例如，如果您的日志文件每隔几秒更新一次，您可以安全地将 close.on_state_change.inactive 设置为 1m。如果日志文件的更新频率差异很大，您可以使用具有不同值的多个配置。

将 close.on_state_change.inactive 设置为较低的值意味着文件句柄会更快关闭。但是，这会产生副作用，如果收集器关闭，则不会实时发送新的日志行。

关闭文件的时间戳不依赖于文件的修改时间。相反，Filebeat 使用一个内部时间戳，该时间戳反映了文件上次被采集的时间。例如，如果 close.on_state_change.inactive 设置为 5 分钟，则 5 分钟的倒计时将在收集器读取文件的最后一行后开始。

您可以使用时间字符串，例如 2h（2 小时）和 5m（5 分钟）。默认值为 5m。

close.on_state_change.renamed编辑

启用此选项后，当文件重命名时，Filebeat 会关闭文件句柄。例如，在轮换文件时会发生这种情况。默认情况下，收集器保持打开状态并继续读取文件，因为文件句柄不依赖于文件名。如果启用了 close.on_state_change.renamed 选项，并且文件被重命名或移动，导致其不再与 指定的文件模式匹配，则该文件将不会再次被拾取。Filebeat 将不会完成读取该文件。

当配置了基于 path 的 file_identity 时，请勿使用此选项。启用该选项是没有意义的，因为 Filebeat 无法使用路径名作为唯一标识符来检测重命名。

WINDOWS：如果您的 Windows 日志轮换系统显示错误，因为它无法轮换文件，则应启用此选项。

close.on_state_change.removed编辑

启用此选项后，当文件被删除时，Filebeat 会关闭收集器。通常，只有在文件处于非活动状态的时间超过 close.on_state_change.inactive 指定的时间后，才应删除该文件。但是，如果文件提前删除，并且您没有启用 close.on_state_change.removed，则 Filebeat 会保持文件打开状态，以确保收集器已完成。如果此设置导致文件未被完全读取，因为它们过早地从磁盘中删除，请禁用此选项。

默认情况下启用此选项。如果禁用此选项，则还必须禁用 clean_removed。

WINDOWS：如果您的 Windows 日志轮换系统显示错误，因为它无法轮换文件，请确保已启用此选项。

close.reader.on_eof编辑

启用此选项后，Filebeat 会在到达文件末尾时立即关闭文件。当您的文件只写入一次且不会不时更新时，此选项非常有用。例如，当您将每个日志事件写入新文件时，就会发生这种情况。默认情况下禁用此选项。

close.reader.after_interval编辑

启用此选项后，Filebeat 会为每个收集器指定一个预定义的生命周期。无论读取器在文件中的哪个位置，读取操作都将在 close.reader.after_interval 时间段过后停止。当您只想在旧日志文件上花费预定义的时间时，此选项非常有用。虽然 close.reader.after_interval 会在预定义的超时时间后关闭文件，但如果文件仍在更新，Filebeat 将根据定义的 prospector.scanner.check_interval 再次启动一个新的收集器。并且，此收集器的 close.reader.after_interval 将再次开始超时倒计时。

如果输出被阻塞，则此选项特别有用，因为即使对于已从磁盘中删除的文件，Filebeat 也会保持打开文件句柄。将 close.reader.after_interval 设置为 5m 可确保定期关闭文件，以便操作系统可以释放它们。

如果将 close.reader.after_interval 设置为等于 ignore_older，则在收集器关闭时修改文件，则不会拾取该文件。这种设置组合通常会导致数据丢失，并且不会发送完整的文件。

对包含多行事件的日志使用 close.reader.after_interval 时，收集器可能会在多行事件的中间停止，这意味着只会发送事件的一部分。如果收集器再次启动且文件仍然存在，则只会发送事件的第二部分。

默认情况下，此选项设置为 0，这意味着它已禁用。

clean_*编辑

clean_* 选项用于清理注册表文件中的状态条目。这些设置有助于减小注册表文件的大小，并可以防止潜在的 inode 重用问题。

clean_inactive编辑

启用此选项后，Filebeat 会在指定的非活动时间段过后删除文件的状态。只有当 Filebeat 已经忽略该文件（文件早于 ignore_older）时，才能删除该状态。clean_inactive 设置必须大于 ignore_older + prospector.scanner.check_interval，以确保在仍在采集文件时不会删除任何状态。否则，该设置可能会导致 Filebeat 不断重新发送完整内容，因为 clean_inactive 会删除 Filebeat 仍在检测的文件的状态。如果文件被更新或再次出现，则会从头开始读取文件。

clean_inactive 配置选项可用于减小注册表文件的大小，尤其是在每天生成大量新文件的情况下。

此配置选项也可用于防止 Linux 上因 inode 重用而导致的 Filebeat 问题。有关更多信息，请参阅 inode 重用导致 Filebeat 跳过行。

clean_removed编辑

启用此选项后，如果在磁盘上再也找不到文件的最后一个已知名称，Filebeat 会从注册表中清除该文件。这意味着在收集器完成后重命名的文件也将被删除。默认情况下启用此选项。

如果共享驱动器在短时间内消失并再次出现，则所有文件将从头开始重新读取，因为状态已从注册表文件中删除。在这种情况下，我们建议您禁用 clean_removed 选项。

如果还禁用了 close.on_state_change.removed，则必须禁用此选项。

backoff.*编辑

退避选项指定 Filebeat 抓取打开文件以获取更新的频率。在大多数情况下，您可以使用默认值。

backoff.init编辑

backoff.init 选项定义 Filebeat 在到达 EOF 后第一次检查文件之前等待的时间。退避间隔呈指数级增长。默认值为 2 秒。因此，将在 2 秒后检查文件，然后是 4 秒，然后是 8 秒，依此类推，直到达到 backoff.max 中定义的限制。每次在文件中出现新行时，backoff.init 值都会重置为初始值。

backoff.max编辑

Filebeat 在到达 EOF 后再次检查文件之前的最长时间。在多次退避检查文件后，等待时间永远不会超过 backoff.max。因为读取新行最多需要 10 秒，所以为 backoff.max 指定 10 秒意味着，在最坏的情况下，如果 Filebeat 已经多次退避，则可能会向日志文件中添加新行。默认值为 10 秒。

要求：将 backoff.max 设置为大于或等于 backoff.init 且小于或等于 prospector.scanner.check_interval (backoff.init <= backoff.max <= prospector.scanner.check_interval)。如果 backoff.max 需要更高，则建议关闭文件句柄，并让 Filebeat 再次拾取该文件。

harvester_limit编辑

harvester_limit 选项限制为一个输入并行启动的收集器的数量。这直接关系到打开的文件句柄的最大数量。harvester_limit 的默认值为 0，这意味着没有限制。如果要采集的文件数量超过了操作系统的打开文件句柄限制，则此配置非常有用。

设置收集器数量的限制意味着可能不会并行打开所有文件。因此，我们建议您将此选项与 close.on_state_change.* 选项结合使用，以确保更频繁地停止收集器，以便可以拾取新文件。

目前，如果可以再次启动新的收集器，则会随机选择收集器。这意味着可能会启动刚刚关闭然后又更新的文件的收集器，而不是启动长时间未采集的文件的收集器。

此配置选项适用于每个输入。您可以通过分配更高的收集器限制来间接地对某些输入设置更高的优先级。

file_identity编辑

可以配置不同的 file_identity 方法，以适应收集日志消息的环境。

file_identity.native: ~

file_identity.path: ~

按以下方式设置标记文件的位置

file_identity.inode_marker.path: /logs/.filebeat-marker

有关详细信息，请参阅 fingerprint 配置。

file_identity.fingerprint: ~

日志轮换编辑

由于日志文件是不断写入的，因此必须对它们进行轮换和清除，以防止记录器应用程序填满磁盘。轮换由外部应用程序完成，因此，Filebeat 需要有关如何与其协作的信息。

从轮换文件中读取时，请确保路径配置包含活动文件和所有轮换文件。

默认情况下，Filebeat 能够在以下策略中正确跟踪文件：* create：轮换时创建具有唯一名称的新活动文件 * rename：轮换的文件被重命名

但是，如果是 copytruncate 策略，则应为 Filebeat 提供其他配置。

rotation.external.strategy.copytruncate编辑

如果日志轮换应用程序复制活动文件的内容然后截断原始文件，请使用以下选项来帮助 Filebeat 正确读取文件。

设置选项 suffix_regex，以便 Filebeat 可以区分活动文件和轮换文件。输入中有两种受支持的后缀类型：数字和日期。