配置日志记录

编辑

packetbeat.yml 配置文件中的 logging 部分包含用于配置日志输出的选项。日志系统可以将日志写入 syslog 或轮换日志文件。如果未显式配置日志记录,则使用文件输出。

logging.level: info
logging.to_files: true
logging.files:
  path: /var/log/packetbeat
  name: packetbeat
  keepfiles: 7
  permissions: 0640

除了在配置文件中设置日志记录选项外,还可以从命令行修改日志输出配置。请参阅 命令参考

当 Packetbeat 在具有 systemd 的 Linux 系统上运行时,它默认使用 -e 命令行选项,这使得它将所有日志输出写入 stderr,以便 journald 可以捕获它。其他输出被禁用。请参阅 Packetbeat 和 systemd 以了解更多信息并了解如何更改此设置。

配置选项

编辑

您可以在 packetbeat.yml 配置文件的 logging 部分中指定以下选项

logging.to_stderr

编辑

如果为 true,则将所有日志输出写入标准错误输出。这等效于使用 -e 命令行选项。

logging.to_syslog

编辑

如果为 true,则将所有日志输出写入 syslog。

此选项在 Windows 上不受支持。

logging.to_eventlog

编辑

如果为 true,则将所有日志输出写入 Windows 事件日志。

logging.to_files

编辑

如果为 true,则将所有日志输出写入文件。当日志文件大小限制达到时,日志文件会自动轮换。

只有在有日志输出时,Packetbeat 才会创建日志文件。例如,如果您将日志 level 设置为 error 并且没有错误,则在为日志指定的目录中将不会有日志文件。

logging.level

编辑

最低日志级别。可以是 debuginfowarningerror。默认日志级别为 info

debug
记录调试消息,包括所有已刷新事件的详细打印输出。还记录信息消息、警告、错误和严重错误。当日志级别为 debug 时,您可以指定 selectors 列表以显示特定组件的调试消息。如果未指定选择器,则使用 * 选择器来显示所有组件的调试消息。
info
记录信息消息,包括已发布的事件数量。还记录任何警告、错误或严重错误。
warning
记录警告、错误和严重错误。
error
记录错误和严重错误。

logging.selectors

编辑

不同 Packetbeat 组件使用的仅调试选择器标签列表。使用 * 为所有组件启用调试输出。使用 publisher 显示与事件发布相关的调试消息。

可用选择器列表可能会在不同版本之间发生变化,因此请避免创建依赖于特定选择器的测试。

要查看哪些选择器可用,请在调试模式下运行 Packetbeat(在配置中将 logging.level: debug 设置为)。选择器名称出现在日志级别之后,并用括号括起来。

要配置多个选择器,请使用以下 YAML 列表语法

logging.selectors: [ harvester, input ]

要覆盖命令行中的选择器,请使用 -d 全局标志(-d 还设置调试日志级别)。有关更多信息,请参阅 命令参考

logging.metrics.enabled

编辑

默认情况下,Packetbeat 定期记录其在上一个周期内发生变化的内部指标。对于每个发生变化的指标,都会记录其与周期开始时的值之间的差值。此外,在关闭时,还会记录所有非零内部指标的总值。将其设置为 false 以禁用此行为。默认值为 true。

以下是一个日志行示例

2017-12-17T19:17:42.667-0500    INFO    [metrics]       log/log.go:110  Non-zero metrics in the last 30s: beat.info.uptime.ms=30004 beat.memstats.gc_next=5046416

请注意,我们目前不提供对内部指标的向后兼容保证,因此它们也没有被记录。

logging.metrics.period

编辑

记录内部指标的周期。默认值为 30 秒。

logging.metrics.namespaces

编辑

要记录的指标命名空间列表。默认为 [stats]stats 包含常规 Beat 指标。datasetinputs 可能存在于某些 Beat 中,并包含模块或输入指标。

logging.files.path

编辑

写入日志文件的目录。默认为日志路径。有关详细信息,请参阅 目录布局 部分。

logging.files.name

编辑

写入日志的文件名。默认为 packetbeat

logging.files.rotateeverybytes

编辑

日志文件的最大大小。如果达到限制,则会生成一个新的日志文件。默认大小限制为 10485760(10 MB)。

logging.files.keepfiles

编辑

在磁盘上保留的最近轮换日志文件数量。在日志轮换期间,较旧的文件将被删除。默认值为 7。keepfiles 选项必须在 2 到 1024 个文件之间。

logging.files.permissions

编辑

轮换日志文件时要应用的权限掩码。默认值为 0600。permissions 选项必须是以八进制表示法表示的有效的 Unix 风格文件权限掩码。在 Go 中,八进制表示法中的数字必须以 0 开头。

允许的最宽松的掩码为 0640。如果通过此设置指定了更高的权限掩码,则它将受 0027 的 umask 约束。

此选项在 Windows 上不受支持。

示例

  • 0640:授予文件所有者读写权限,并授予与文件关联的组成员读取权限。
  • 0600:授予文件所有者读写权限,并拒绝所有其他用户访问。

logging.files.interval

编辑

除了基于大小的轮换之外,还可以启用基于时间间隔的日志文件轮换。间隔必须至少为 1 秒。1m、1h、24h、7*24h、30*24h 和 365*24h 的值与本地系统时钟报告的分钟、小时、天、周、月和年对齐。所有其他间隔都是从 Unix 纪元计算的。默认为禁用。

logging.files.rotateonstartup

编辑

如果日志文件在启动时已存在,则立即轮换它并开始写入新文件,而不是追加到现有文件。默认为 true。

logging.files.redirect_stderr [技术预览] 此功能处于技术预览阶段,可能会在将来的版本中更改或删除。Elastic 会努力修复任何问题,但技术预览中的功能不受正式 GA 功能的支持 SLA 的约束。

编辑

如果为 true,则打印到 Packetbeat 的标准错误输出的诊断消息也将记录到日志文件中。这在 Packetbeat 意外终止(因为 Go 的运行时已检测到错误但日志文件中没有诊断信息)的情况下非常有用。此功能仅在记录到文件(logging.to_files 为 true)时可用。默认情况下禁用。

日志格式

编辑

每个日志输出的日志格式通常相同。唯一的例外是 syslog 输出,其中时间戳未包含在消息中,因为 syslog 会添加自己的时间戳。

每个日志消息包含以下部分

  • ISO8601 格式的时间戳
  • 级别
  • 包含在括号中的日志记录器名称(可选)
  • 调用方的文件名和行号
  • 消息
  • 以 JSON 编码的结构化数据(可选)

以下是一些示例

2017-12-17T18:54:16.241-0500 INFO logp/core_test.go:13 未命名的全局日志记录器

2017-12-17T18:54:16.242-0500 INFO [example] logp/core_test.go:16 一些消息

2017-12-17T18:54:16.242-0500 INFO [example] logp/core_test.go:19 一些消息 {"x": 1}

event_data 日志记录器的配置选项

编辑

某些输出将在错误(例如 Elasticsearch 输出中的索引错误)时记录原始事件,为了防止将原始事件(可能包含敏感信息)与其他日志消息一起记录,会使用不同的日志文件(仅用于包含原始事件的日志条目)。它将使用默认日志记录器的相同级别、选择器和所有其他配置,但它将拥有自己的文件配置。

为原始事件使用不同的日志文件还可以防止事件数据淹没常规日志文件。

无论默认日志记录器输出配置如何,原始事件都将 始终 记录到由 logging.event_data.files 配置的文件中。

logging.event_data.files.path

编辑

写入日志文件的目录。默认为日志路径。有关详细信息,请参阅 目录布局 部分。

logging.event_data.files.name

编辑

写入日志的文件名。默认为 packetbeat-event-data。

logging.event_data.files.rotateeverybytes

编辑

日志文件的最大大小。如果达到限制,则会生成一个新的日志文件。默认大小限制为 5242880(5 MB)。

logging.event_data.files.keepfiles

编辑

需要保留在磁盘上的最近旋转日志文件的数量。较旧的文件将在日志轮换期间删除。默认值为 2。 keepfiles 选项必须在 2 到 1024 个文件之间。

logging.event_data.files.permissions

编辑

轮换日志文件时要应用的权限掩码。默认值为 0600。permissions 选项必须是以八进制表示法表示的有效的 Unix 风格文件权限掩码。在 Go 中,八进制表示法中的数字必须以 0 开头。

允许的最宽松的掩码为 0640。如果通过此设置指定了更高的权限掩码,则它将受 0027 的 umask 约束。

此选项在 Windows 上不受支持。

示例

  • 0640:授予文件所有者读写权限,并授予与文件关联的组成员读取权限。
  • 0600:授予文件所有者读写权限,并拒绝所有其他用户访问。

logging.event_data.files.interval

编辑

除了基于大小的轮换之外,还可以启用基于时间间隔的日志文件轮换。间隔必须至少为 1 秒。1m、1h、24h、7*24h、30*24h 和 365*24h 的值与本地系统时钟报告的分钟、小时、天、周、月和年对齐。所有其他间隔都是从 Unix 纪元计算的。默认为禁用。

logging.event_data.files.rotateonstartup

编辑

如果日志文件在启动时已存在,则立即将其轮换并开始写入新文件,而不是追加到现有文件。默认为 false。