› ›

Log4j 输入插件

编辑

Log4j 输入插件编辑

插件版本：v3.1.3
发布时间：2018 年 4 月 6 日
更新日志

有关其他版本，请参阅版本化插件文档。

安装编辑

对于默认情况下未捆绑的插件，可以通过运行 bin/logstash-plugin install logstash-input-log4j轻松安装。有关更多详细信息，请参阅使用插件。

获取帮助编辑

如果您对插件有任何疑问，请在论坛中打开一个主题。对于错误或功能请求，请在Github中打开一个问题。有关 Elastic 支持的插件列表，请参阅Elastic 支持矩阵。

弃用通知编辑

此插件已弃用。建议您使用 filebeat 从 log4j 收集日志。

以下部分是有关如何从 SocketAppender 迁移到使用 filebeat 的指南。

要从 log4j SocketAppender 迁移到使用 filebeat，您需要进行以下更改

配置您的 log4j.properties（在您的应用程序中）以写入本地文件。
安装并配置 filebeat 以收集这些日志并将其发送到 Logstash
配置 Logstash 以使用 beats 输入。

配置 log4j 以写入本地文件编辑

在您的 log4j.properties 文件中，删除 SocketAppender 并将其替换为 RollingFileAppender。

例如，您可以使用以下 log4j.properties 配置来写入每日日志文件。

# Your app's log4j.properties (log4j 1.2 only)
log4j.rootLogger=daily
log4j.appender.daily=org.apache.log4j.rolling.RollingFileAppender
log4j.appender.daily.RollingPolicy=org.apache.log4j.rolling.TimeBasedRollingPolicy
log4j.appender.daily.RollingPolicy.FileNamePattern=/var/log/your-app/app.%d.log
log4j.appender.daily.layout = org.apache.log4j.PatternLayout
log4j.appender.daily.layout.ConversionPattern=%d{YYYY-MM-dd HH:mm:ss,SSSZ} %p %c{1}:%L - %m%n

更详细地配置 log4j.properties 超出了本迁移指南的范围。

配置 filebeat编辑

接下来，安装 filebeat。根据上面的 log4j.properties，我们可以使用此 filebeat 配置

# filebeat.yml
filebeat:
  prospectors:
    -
      paths:
        - /var/log/your-app/app.*.log
      input_type: log
output:
  logstash:
    hosts: ["your-logstash-host:5000"]

有关配置 filebeat 的更多详细信息，请参阅配置 Filebeat。

配置 Logstash 以从 filebeat 接收数据编辑

最后，使用 beats 输入配置 Logstash

# logstash configuration
input {
  beats {
    port => 5000
  }
}

强烈建议您在 filebeat 和 logstash beats 输入中启用 TLS，以保护您的日志数据安全。

有关配置 beats 输入的更多详细信息，请参阅logstash beats 输入文档。

描述编辑

通过 TCP 套接字从 Log4j SocketAppender 读取事件。此插件仅适用于 log4j 版本 1.x。

可以接受来自客户端的连接或连接到服务器，具体取决于 mode。根据配置的 mode，您需要在远程端使用匹配的 SocketAppender 或 SocketHubAppender。

为每个接收到的 log4j LoggingEvent 创建一个事件，其架构如下

timestamp ⇒ 从 1970 年 1 月 1 日到创建日志事件所经过的毫秒数。
path ⇒ 记录器的名称
priority ⇒ 此事件的级别
logger_name ⇒ 记录器的名称
thread ⇒ 发出日志记录请求的线程名称
class ⇒ 发出日志记录请求的调用方的完全限定类名。
file ⇒ 发出日志记录请求的调用方的源文件名和行号，格式为“fileName:lineNumber”。
method ⇒ 发出日志记录请求的调用方的方法名称。
NDC ⇒ NDC 字符串
stack_trace ⇒ 多行堆栈跟踪

此外，如果原始 log4j LoggingEvent 包含 MDC 哈希条目，它们将作为字段合并到事件中。

Log4j 输入配置选项编辑

此插件支持以下配置选项以及稍后描述的通用选项。

设置	输入类型	必需
`host`	字符串	否
`mode`	字符串，`["server", "client"]` 之一	否
`port`	数字	否
`proxy_protocol`	布尔值	否

另请参阅通用选项，了解所有输入插件支持的选项列表。

`host`编辑

值类型为字符串
默认值为 "0.0.0.0"

当模式为 server 时，是要侦听的地址。当模式为 client 时，是要连接的地址。

`mode`编辑

值可以是以下任意一项：server、client
默认值为 "server"

要操作的模式。server 侦听客户端连接，client 连接到服务器。

`port`编辑

值类型为数字
默认值为 4560

当模式为 server 时，是要侦听的端口。当模式为 client 时，是要连接的端口。

`proxy_protocol`编辑

值类型为布尔值
默认值为 false

代理协议支持，目前仅支持 v1 http://www.haproxy.org/download/1.5/doc/proxy-protocol.txt

通用选项编辑

以下配置选项受所有输入插件支持

设置	输入类型	必需
`add_field`	hash	否
`enable_metric`	布尔值	否
`id`	字符串	否
`tags`	数组	否
`type`	字符串	否

详细信息编辑

`add_field`编辑

值类型为哈希
默认值为 {}

向事件添加字段

`enable_metric`编辑

值类型为布尔值
默认值为 true

默认情况下，我们会记录所有可以记录的指标，但您可以禁用特定插件的指标收集。通过此选项，您可以为该特定插件实例禁用或启用指标记录。

`id`编辑

值类型为字符串
此设置没有默认值。

向插件配置添加唯一的 ID。如果未指定 ID，Logstash 将生成一个 ID。强烈建议您在配置中设置此 ID。当您有两个或多个相同类型的插件时，例如，如果您有两个 log4j 输入，这将特别有用。在这种情况下，添加命名 ID 将有助于在使用监控 API 时监控 Logstash。

input {
  log4j {
    id => "my_plugin_id"
  }
}

id 字段中的变量替换仅支持环境变量，不支持使用来自密钥存储的值。

`tags`编辑

值类型为数组
此设置没有默认值。

向您的事件添加任意数量的任意标签。

这有助于以后的处理。

`type`编辑

值类型为字符串
此设置没有默认值。

向此输入处理的所有事件添加 type 字段。

类型主要用于过滤器激活。

类型存储为事件本身的一部分，因此您也可以使用类型在 Kibana 中搜索它。

如果您尝试在已经具有类型的事件上设置类型（例如，当您将事件从发送器发送到索引器时），则新输入不会覆盖现有类型。在发送器处设置的类型将保留在该事件的生命周期内，即使将其发送到另一个 Logstash 服务器也是如此。

« Logstash 输入插件 Lumberjack 输入插件 »