容器输入

仅从指定的流中读取：all、stdout 或 stderr。默认值为 all。

读取日志文件时使用给定的格式：auto、docker 或 cri。默认值为 auto，它将自动检测格式。要禁用自动检测，请设置任何其他选项。

以下输入配置 Filebeat 以读取默认 Kubernetes 日志路径下所有容器的 stdout 流

- type: container
  stream: stdout
  paths:
    - "/var/log/containers/*.log"

用于读取包含国际字符的数据的文件编码。请参阅 W3C 建议在 HTML5 中使用的编码名称。

有效编码

plain 编码是特殊的，因为它不验证或转换任何输入。

要匹配您希望 Filebeat 排除的行的一系列正则表达式。Filebeat 会删除与列表中正则表达式匹配的任何行。默认情况下，不删除任何行。空行将被忽略。

如果还指定了 多行 设置，则在行被 exclude_lines 过滤之前，每条多行消息都将组合成一行。

以下示例配置 Filebeat 以删除以 DBG 开头的任何行。

filebeat.inputs:
- type: container
  ...
  exclude_lines: ['^DBG']

有关支持的正则表达式模式列表，请参阅 正则表达式支持。

要匹配您希望 Filebeat 包含的行的一系列正则表达式。Filebeat 仅导出与列表中正则表达式匹配的行。默认情况下，导出所有行。空行将被忽略。

如果还指定了 多行 设置，则在行被 include_lines 过滤之前，每条多行消息都将组合成一行。

以下示例配置 Filebeat 以导出以 ERR 或 WARN 开头的任何行

filebeat.inputs:
- type: container
  ...
  include_lines: ['^ERR', '^WARN']

以下示例导出包含 sometext 的所有日志行，但以 DBG（调试消息）开头的行除外

filebeat.inputs:
- type: container
  ...
  include_lines: ['sometext']
  exclude_lines: ['^DBG']

有关支持的正则表达式模式列表，请参阅 正则表达式支持。

每个采集器在获取文件时使用的缓冲区的字节大小。默认值为 16384。

单个日志消息可以具有的最大字节数。所有超过 max_bytes 的字节都将被丢弃，不会发送。此设置对于可能变得很大的多行日志消息特别有用。默认值为 10MB（10485760）。

这些选项使 Filebeat 可以解码结构化为 JSON 消息的日志。Filebeat 逐行处理日志，因此 JSON 解码仅在每行一个 JSON 对象时才有效。

解码发生在行过滤和多行之前。如果设置了 message_key 选项，则可以将 JSON 解码与过滤和多行结合使用。这在应用程序日志包装在 JSON 对象中的情况下很有用，例如 Docker 中的情况。

示例配置

json.keys_under_root: true
json.add_error_key: true
json.message_key: log

您必须至少指定以下设置之一才能启用 JSON 解析模式

控制 Filebeat 如何处理跨多行的日志消息的选项。有关配置多行选项的更多信息，请参阅 多行消息。

要匹配您希望 Filebeat 忽略的文件的一系列正则表达式。默认情况下，不排除任何文件。

以下示例配置 Filebeat 以忽略所有具有 gz 扩展名的文件

filebeat.inputs:
- type: container
  ...
  exclude_files: ['\.gz$']

有关支持的正则表达式模式列表，请参阅 正则表达式支持。

如果启用此选项，Filebeat 将忽略在指定时间段之前修改的任何文件。如果您长时间保留日志文件，则配置 ignore_older 可能特别有用。例如，如果您想启动 Filebeat，但只想发送最新的文件和上周的文件，则可以配置此选项。

您可以使用诸如 2h（2 小时）和 5m（5 分钟）之类的字符串。默认值为 0，禁用该设置。注释掉配置的效果与将其设置为 0 相同。

受此设置影响的文件分为两类

对于以前从未见过的文件，偏移状态将设置为文件末尾。如果状态已存在，则偏移量不会更改。如果稍后再次更新文件，则读取将从设置的偏移位置继续。

ignore_older 设置依赖于文件的修改时间来确定是否忽略文件。如果在将行写入文件时未更新文件的修改时间（这在 Windows 上可能会发生），则 ignore_older 设置可能会导致 Filebeat 忽略文件，即使在稍后添加了内容。

要从注册表文件中删除以前收集的文件的状态，请使用 clean_inactive 配置选项。

在 Filebeat 可以忽略文件之前，必须先关闭该文件。为确保在忽略文件时不再收集该文件，您必须将 ignore_older 设置为比 close_inactive 更长的持续时间。

如果当前正在收集的文件属于 ignore_older，则收集器将首先完成读取文件，并在达到 close_inactive 后关闭它。然后，在此之后，将忽略该文件。

close_* 配置选项用于在满足特定条件或时间后关闭收集器。关闭收集器意味着关闭文件句柄。如果在关闭收集器后更新了文件，则在 scan_frequency 过期后将再次拾取该文件。但是，如果在收集器关闭时移动或删除了文件，则 Filebeat 将无法再次拾取该文件，并且收集器未读取的任何数据都将丢失。当 Filebeat 尝试从文件读取时，会同步应用 close_* 设置，这意味着如果 Filebeat 由于输出阻塞、队列已满或其他问题而处于阻塞状态，则原本应该关闭的文件将保持打开状态，直到 Filebeat 再次尝试从文件读取。

启用此选项后，如果文件未被收集指定持续时间，Filebeat 将关闭文件句柄。定义期间的计数器从收集器读取最后一条日志行时开始。它不是基于文件的修改时间。如果关闭的文件再次更改，则会启动新的收集器，并且在 scan_frequency 过期后将拾取最新的更改。

建议您将 close_inactive 设置为大于日志文件更新频率最低的值。例如，如果您的日志文件每隔几秒钟更新一次，则可以安全地将 close_inactive 设置为 1m。如果存在更新速率差异很大的日志文件，则可以使用具有不同值的多个配置。

将 close_inactive 设置为较低的值意味着文件句柄将更快关闭。但是，这具有副作用，即如果收集器关闭，则不会以接近实时的速度发送新的日志行。

关闭文件的时间戳不依赖于文件的修改时间。相反，Filebeat 使用反映文件上次收集时间的内部时间戳。例如，如果将 close_inactive 设置为 5 分钟，则 5 分钟的倒计时将在收集器读取文件的最后一行后开始。

您可以使用诸如 2h（2 小时）和 5m（5 分钟）之类的字符串。默认值为 5m。

启用此选项后，当文件重命名时，Filebeat 将关闭文件句柄。例如，在轮换文件时会发生这种情况。默认情况下，收集器保持打开状态并继续读取文件，因为文件句柄不依赖于文件名。如果启用了 close_renamed 选项并且文件以不再与为路径指定的模式匹配的方式重命名或移动，则将不再拾取该文件。Filebeat 将不会完成读取文件。

当配置了基于 path 的 file_identity 时，请勿使用此选项。启用该选项没有意义，因为 Filebeat 无法使用路径名作为唯一标识符检测重命名。

WINDOWS：如果您的 Windows 日志轮换系统显示错误，因为它无法轮换文件，则应启用此选项。

启用此选项后，当删除文件时，Filebeat 将关闭收集器。通常，文件应仅在处于非活动状态 close_inactive 指定的持续时间后才能删除。但是，如果文件过早删除并且您未启用 close_removed，则 Filebeat 会使文件保持打开状态以确保收集器已完成。如果此设置导致文件未完全读取，因为它们过早地从磁盘中删除，请禁用此选项。

此选项默认启用。如果禁用此选项，则还必须禁用 clean_removed。

WINDOWS：如果您的 Windows 日志轮换系统显示错误，因为它无法轮换文件，请确保已启用此选项。

启用此选项后，Filebeat 只要到达文件末尾就会关闭文件。当您的文件仅写入一次且不会不时更新时，这很有用。例如，当您将每个日志事件写入新文件时，就会发生这种情况。此选项默认禁用。

启用此选项后，Filebeat 会为每个收集器提供预定义的生命周期。无论读取器在文件中的什么位置，读取都将在 close_timeout 期限过后停止。当您希望仅在文件中花费预定义的时间时，此选项对于旧的日志文件很有用。虽然 close_timeout 将在预定义的超时后关闭文件，但如果文件仍在更新，Filebeat 将根据定义的 scan_frequency 再次启动新的收集器。并且此收集器的 close_timeout 将再次开始倒计时。

如果输出被阻塞，此选项特别有用，这使得 Filebeat 即使对于已从磁盘中删除的文件也保持文件句柄打开。将 close_timeout 设置为 5m 可确保定期关闭文件，以便操作系统可以释放它们。

如果将 close_timeout 设置为等于 ignore_older，则如果在收集器关闭时修改了文件，则不会拾取该文件。此设置组合通常会导致数据丢失，并且不会发送完整的文件。

当您对包含多行事件的日志使用 close_timeout 时，收集器可能会在多行事件的中间停止，这意味着只会发送事件的部分内容。如果再次启动收集器并且文件仍然存在，则只会发送事件的第二部分。

此选项默认为 0，这意味着它已禁用。

clean_* 选项用于清理注册表文件中的状态条目。这些设置有助于减小注册表文件的大小，并可以防止潜在的 inode 重用问题。

启用此选项后，Filebeat 在指定的非活动期过后删除文件的状态。只有在 Filebeat 已忽略文件（文件比 ignore_older 旧）时，才能删除状态。 clean_inactive 设置必须大于 ignore_older + scan_frequency 以确保在仍在收集文件时不会删除任何状态。否则，该设置可能会导致 Filebeat 不断重新发送完整内容，因为 clean_inactive 删除了 Filebeat 仍在检测到的文件的状态。如果文件更新或再次出现，则从开头读取文件。

clean_inactive 配置选项有助于减小注册表文件的大小，尤其是在每天生成大量新文件的情况下。

此配置选项还有助于防止 Linux 上 inode 重用导致的 Filebeat 问题。有关更多信息，请参阅 inode 重用导致 Filebeat 跳过行。

启用此选项后，如果在磁盘上再也找不到文件（使用上次已知名称），Filebeat 将从注册表中清除这些文件。这意味着还将删除在收集器完成之后重命名的文件。此选项默认启用。

如果共享驱动器短时间消失然后再次出现，则所有文件将从开头重新读取，因为状态已从注册表文件中删除。在这种情况下，我们建议您禁用 clean_removed 选项。

如果还禁用了 close_removed，则必须禁用此选项。

Filebeat 检查指定用于收集的路径中是否有新文件的频率。例如，如果您指定类似 /var/log/* 的通配符，则目录将使用 scan_frequency 指定的频率扫描文件。指定 1s 以尽可能频繁地扫描目录，而不会导致 Filebeat 扫描过于频繁。我们不建议将此值设置为 <1s。

如果您需要以接近实时的速度发送日志行，请不要使用非常低的 scan_frequency，而是调整 close_inactive 以便文件句柄保持打开状态并不断轮询您的文件。

默认设置为 10s。

如果您为此设置指定了除空字符串以外的值，则可以使用 scan.order 确定是使用升序还是降序。可能的值为 modtime 和 filename。要按文件修改时间排序，请使用 modtime，否则使用 filename。保留此选项为空以禁用它。

如果您为该设置指定了值，则可以使用 scan.order 配置是否按升序或降序扫描文件。

默认设置已禁用。

指定当 scan.sort 设置为除 none 之外的值时，使用升序还是降序。可能的值为 asc 或 desc。

默认设置为 asc。

如果将此选项设置为 true，则 Filebeat 从每个文件的末尾而不是开头开始读取新文件。当此选项与日志轮换结合使用时，可能会跳过新文件中的第一个日志条目。默认设置为 false。

此选项适用于 Filebeat 尚未处理的文件。如果您之前运行过 Filebeat 并且文件的状体已持久化，则 tail_files 将不适用。收集将从先前的偏移量继续。要将 tail_files 应用于所有文件，您必须停止 Filebeat 并删除注册表文件。请注意，这样做会删除所有先前的状体。

symlinks 选项允许 Filebeat 除了常规文件之外还收集符号链接。收集符号链接时，Filebeat 会打开并读取原始文件，即使它报告的是符号链接的路径。

配置符号链接以进行收集时，请确保排除了原始路径。如果配置单个输入以同时收集符号链接和原始文件，则 Filebeat 将检测到问题，并且只处理它找到的第一个文件。但是，如果配置了两个不同的输入（一个读取符号链接，另一个读取原始路径），则将收集这两个路径，导致 Filebeat 发送重复数据，并且输入会覆盖彼此的状体。

如果符号链接到日志文件的名称中包含其他元数据，并且您希望在 Logstash 中处理这些元数据，则 symlinks 选项很有用。例如，Kubernetes 日志文件就是这种情况。

由于此选项可能导致数据丢失，因此默认情况下禁用它。

backoff 选项指定 Filebeat 扫描打开文件以获取更新的积极性。在大多数情况下，您可以使用默认值。

backoff 选项定义在到达 EOF 后 Filebeat 等待多长时间再检查文件。默认值为 1 秒，这意味着如果添加了新行，则每秒检查一次文件。这使您可以进行近乎实时的爬取。每次文件中出现新行时，backoff 值都会重置为初始值。默认值为 1 秒。

Filebeat 在到达 EOF 后等待多长时间再检查文件的最大时间。在多次推迟检查文件后，无论为 backoff_factor 指定什么，等待时间都不会超过 max_backoff。由于读取新行最多需要 10 秒，因此为 max_backoff 指定 10 秒意味着，在最坏的情况下，如果 Filebeat 已多次推迟，则可以将新行添加到日志文件中。默认值为 10 秒。

要求：将 max_backoff 设置为大于或等于 backoff 且小于或等于 scan_frequency（backoff <= max_backoff <= scan_frequency）。如果需要更高的 max_backoff，建议关闭文件句柄，然后让 Filebeat 再次拾取文件。

此选项指定等待时间增加的速度。backoff 系数越大，max_backoff 值达到所需时间越快。backoff 系数呈指数增长。允许的最小值为 1。如果此值设置为 1，则 backoff 算法被禁用，并且 backoff 值用于等待新行。每次 backoff 值都将乘以 backoff_factor，直到达到 max_backoff。默认值为 2。

harvester_limit 选项限制为一个输入并行启动的收集器的数量。这直接关系到打开的文件句柄的最大数量。 harvester_limit 的默认值为 0，这意味着没有限制。如果要收集的文件数量超过操作系统的打开文件句柄限制，则此配置很有用。

限制收集器的数量意味着可能并非所有文件都并行打开。因此，我们建议您将此选项与 close_* 选项结合使用，以确保更频繁地停止收集器，以便拾取新文件。

目前，如果可以再次启动新的收集器，则会随机选择收集器。这意味着，可能启动刚刚关闭然后再次更新的文件的收集器，而不是启动较长时间未收集的文件的收集器。

此配置选项适用于每个输入。您可以使用此选项通过分配更高的收集器限制来间接设置某些输入的更高优先级。

可以配置不同的 file_identity 方法以适应您收集日志消息的环境。

file_identity.native: ~

file_identity.path: ~

以以下方式设置标记文件的位置

file_identity.inode_marker.path: /logs/.filebeat-marker