Tcp 输入插件
编辑Tcp 输入插件编辑
- 插件版本: v6.4.2
- 发布日期: 2024-04-23
- 变更日志
有关其他版本,请参阅 版本化插件文档。
获取帮助编辑
如果您对插件有任何疑问,请在 Discuss 论坛中发帖。对于错误或功能请求,请在 Github 中创建问题。有关 Elastic 支持的插件列表,请参阅 Elastic 支持矩阵。
描述编辑
通过 TCP 套接字读取事件。
与 stdin 和文件输入一样,每个事件都被假定为一行文本。
可以根据 mode
接受来自客户端的连接或连接到服务器。
接受 log4j2 日志编辑
Log4j2 可以通过套接字发送 JSON,我们可以使用它与我们的 tcp 输入相结合来接受日志。
首先,我们需要配置您的应用程序以通过套接字以 JSON 格式发送日志。以下 log4j2.xml 完成了此任务。
请注意,您需要更改此配置中的 host
和 port
设置以匹配您的需求。
<Configuration> <Appenders> <Socket name="Socket" host="localhost" port="12345"> <JsonLayout compact="true" eventEol="true" /> </Socket> </Appenders> <Loggers> <Root level="info"> <AppenderRef ref="Socket"/> </Root> </Loggers> </Configuration>
要在 Logstash 中接受此日志,您需要 tcp 输入和日期过滤器
input { tcp { port => 12345 codec => json } }
并添加一个日期过滤器来获取 log4j2 的 timeMillis
字段并将其用作事件时间戳
filter { date { match => [ "timeMillis", "UNIX_MS" ] } }
事件元数据和 Elastic Common Schema (ECS)编辑
除了解码事件外,此输入还会将有关 TCP 连接本身的元数据添加到每个事件中。当应用程序配置为直接将事件发送到此输入的 TCP 侦听器而没有包含有关自身的信息时,这将非常有用。
从历史上看,这些元数据被添加到各种非标准的顶级字段中,这有可能在后续流程中造成混淆和模式冲突。使用 ECS 兼容模式,我们可以确保管道仍然可以访问这些元数据,而不会污染顶级命名空间。
元数据组 | ecs: v1 , v8 |
ecs: disabled |
---|---|---|
来自接收事件的 TCP 连接的源元数据,包括发送者的名称、IP 和出站端口。 |
[@metadata][input][tcp][source][name] |
[host] |
[@metadata][input][tcp][source][ip] |
[@metadata][ip_address] |
|
[@metadata][input][tcp][source][port] |
[port] |
|
来自代理 TCP 连接的代理元数据。在通过代理接收事件且 |
[@metadata][input][tcp][proxy][ip] |
[proxy_host] |
[@metadata][input][tcp][proxy][port] |
[proxy_port] |
|
来自安全 TCP 连接的 SSL 主题元数据。在 |
[@metadata][input][tcp][ssl][subject] |
[sslsubject] |
例如,Elastic Common Schema 为 顶级 host
字段 保留了有关事件发生主机的信息。如果事件缺少此元数据,则可以将其从已添加到事件的源 TCP 连接元数据中复制到适当的位置
filter { if [@metadata][input][tcp][source] and ![host] { mutate { copy => { "[@metadata][input][tcp][source][name]" => "[host][name]" "[@metadata][input][tcp][source][ip]" => "[host][ip]" } } } }
Tcp 输入配置选项编辑
此插件支持以下配置选项以及后面描述的 通用选项。
设置 | 输入类型 | 必需 |
---|---|---|
否 |
||
否 |
||
否 |
||
字符串,其中之一为 |
否 |
|
是 |
||
否 |
||
有效的系统文件路径 |
已弃用 |
|
有效的系统文件路径 |
否 |
|
否 |
||
否 |
||
字符串,其中之一为 |
否 |
|
已弃用 |
||
否 |
||
否 |
||
有效的系统文件路径 |
否 |
|
否 |
||
否 |
||
字符串,其中之一为 |
否 |
|
已弃用 |
||
否 |
另请参阅 通用选项,了解所有输入插件支持的选项列表。
dns_reverse_lookup_enabled
编辑
- 值类型为 布尔值
- 默认值为
true
可以通过禁用此设置来避免 DNS 反向查找。如果禁用,添加到事件的地址元数据将包含 TCP 层指定的源地址,并且 IP 不会解析为主机名。
ecs_compatibility
编辑
- 值类型为 字符串
-
支持的值为
-
disabled
: 在根级别添加非结构化连接元数据 -
v1
,v8
: 在[@metadata][input][tcp]
下添加结构化连接元数据
-
-
默认值取决于运行的 Logstash 版本
- 当 Logstash 提供
pipeline.ecs_compatibility
设置时,其值将用作默认值 - 否则,默认值为
disabled
。
- 当 Logstash 提供
控制此插件与 Elastic Common Schema (ECS) 的兼容性。此设置的值会影响 TCP 连接元数据在事件上的放置位置。
proxy_protocol
编辑
- 值类型为 布尔值
- 默认值为
false
代理协议支持,目前仅支持 v1 http://www.haproxy.org/download/1.5/doc/proxy-protocol.txt
ssl_cipher_suites
编辑
- 值类型为 字符串
- 默认值包括 JDK 启用的 *所有* 密码套件,并取决于 JDK 配置
支持的密码套件因使用的 Java 版本而异,条目类似于 TLS_ECDHE_ECDSA_WITH_AES_256_GCM_SHA384
。有关更多信息,请参阅 Oracle 的 JDK SunJSSE 提供程序文档 和支持的 Java 密码套件名称 表格。
要检查本地支持的密码套件,请运行以下脚本:$LS_HOME/bin/ruby -e 'p javax.net.ssl.SSLServerSocketFactory.getDefault.getSupportedCipherSuites'
。
ssl_client_authentication
edit
- 值可以是以下任何一个:
none
、optional
、required
- 默认值为
required
控制服务器在请求客户端连接证书方面的行为:none
禁用客户端身份验证。 required
强制客户端提供证书,而 optional
请求客户端证书,但客户端不需要提供证书。
当启用双向 TLS(optional
或 required
)时,客户端提供的证书必须由受信任的 ssl_certificate_authorities
(CA)签名。请注意,服务器不会验证客户端证书 CN(通用名)或 SAN(主体备用名称)。
此设置仅在 mode
为 server
且 ssl_certificate_authorities
已设置时才可以使用。
ssl_supported_protocols
edit
- 值类型为 字符串
- 允许的值为:
'TLSv1.1'
、'TLSv1.2'
、'TLSv1.3'
- 默认值取决于所使用的 JDK。对于最新的 Logstash,默认值为
['TLSv1.2', 'TLSv1.3']
。'TLSv1.1'
不被认为是安全的,只提供给遗留应用程序。
建立安全连接时允许使用的 SSL/TLS 版本列表。
如果您将插件配置为在任何最新的 JVM(例如 Logstash 附带的 JVM)上使用 'TLSv1.1'
,则该协议默认情况下会被禁用,需要通过更改 $JDK_HOME/conf/security/java.security 配置文件中的 jdk.tls.disabledAlgorithms
来手动启用。也就是说,需要从列表中删除 TLSv1.1
。
ssl_verification_mode
edit
- 值可以是以下任何一个:
full
、none
- 默认值为
full
定义如何在 TLS 连接中验证另一方提供的证书
full
验证服务器证书的颁发日期是否在 not_before 和 not_after 日期范围内;链接到受信任的证书颁发机构 (CA),并且具有与证书中的名称匹配的主机名或 IP 地址。
none
不执行证书验证。
此设置仅在 mode
为 client
时才可以使用。
将证书验证设置为 none
会禁用 SSL/TLS 的许多安全优势,这非常危险。有关禁用证书验证的更多信息,请阅读 https://www.cs.utexas.edu/~shmat/shmat_ccs12.pdf
通用选项edit
以下配置选项受所有输入插件支持