- Logstash 参考文档其他版本
- Logstash 简介
- Logstash 入门
- Logstash 的工作原理
- 设置和运行 Logstash
- 升级 Logstash
- 创建 Logstash 管道
- 保护您的连接
- 高级 Logstash 配置
- Logstash 到 Logstash 通信
- 管理 Logstash
- 将 Logstash 与 Elastic Integrations 一起使用
- 使用 Logstash 模块
- 使用 Filebeat 模块
- 使用 Winlogbeat 模块
- 队列和数据弹性
- 转换数据
- 部署和扩展 Logstash
- 管理 GeoIP 数据库
- 性能调优
- 使用 Elastic Agent 监控 Logstash
- 监控 Logstash(旧版)
- 使用 API 监控 Logstash
- 使用插件
- 集成插件
- 输入插件
- azure_event_hubs
- beats
- cloudwatch
- couchdb_changes
- dead_letter_queue
- elastic_agent
- elastic_serverless_forwarder
- elasticsearch
- exec
- file
- ganglia
- gelf
- generator
- github
- google_cloud_storage
- google_pubsub
- graphite
- heartbeat
- http
- http_poller
- imap
- irc
- java_generator
- java_stdin
- jdbc
- jms
- jmx
- kafka
- kinesis
- logstash
- log4j
- lumberjack
- meetup
- pipe
- puppet_facter
- rabbitmq
- redis
- relp
- rss
- s3
- s3-sns-sqs
- salesforce
- snmp
- snmptrap
- sqlite
- sqs
- stdin
- stomp
- syslog
- tcp
- udp
- unix
- varnishlog
- websocket
- wmi
- xmpp
- 输出插件
- boundary
- circonus
- cloudwatch
- csv
- datadog
- datadog_metrics
- dynatrace
- elastic_app_search
- elastic_workplace_search
- elasticsearch
- exec
- file
- ganglia
- gelf
- google_bigquery
- google_cloud_storage
- google_pubsub
- graphite
- graphtastic
- http
- influxdb
- irc
- java_stdout
- juggernaut
- kafka
- librato
- logstash
- loggly
- lumberjack
- metriccatcher
- mongodb
- nagios
- nagios_nsca
- opentsdb
- pagerduty
- pipe
- rabbitmq
- redis
- redmine
- riak
- riemann
- s3
- sink
- sns
- solr_http
- sqs
- statsd
- stdout
- stomp
- syslog
- tcp
- timber
- udp
- webhdfs
- websocket
- xmpp
- zabbix
- 过滤器插件
- age
- aggregate
- alter
- bytes
- cidr
- cipher
- clone
- csv
- date
- de_dot
- dissect
- dns
- drop
- elapsed
- elastic_integration
- elasticsearch
- environment
- extractnumbers
- fingerprint
- geoip
- grok
- http
- i18n
- java_uuid
- jdbc_static
- jdbc_streaming
- json
- json_encode
- kv
- memcached
- metricize
- metrics
- mutate
- prune
- range
- ruby
- sleep
- split
- syslog_pri
- threats_classifier
- throttle
- tld
- translate
- truncate
- urldecode
- useragent
- uuid
- wurfl_device_detection
- xml
- 编解码器插件
- 技巧和最佳实践
- 故障排除
- 为 Logstash 做贡献
- 贡献 Java 插件
- 重大变更
- 发行说明
- Logstash 8.17.0 发行说明
- Logstash 8.16.1 发行说明
- Logstash 8.16.0 发行说明
- Logstash 8.15.4 发行说明
- Logstash 8.15.3 发行说明
- Logstash 8.15.2 发行说明
- Logstash 8.15.1 发行说明
- Logstash 8.15.0 发行说明
- Logstash 8.14.3 发行说明
- Logstash 8.14.2 发行说明
- Logstash 8.14.1 发行说明
- Logstash 8.14.0 发行说明
- Logstash 8.13.4 发行说明
- Logstash 8.13.3 发行说明
- Logstash 8.13.2 发行说明
- Logstash 8.13.1 发行说明
- Logstash 8.13.0 发行说明
- Logstash 8.12.2 发行说明
- Logstash 8.12.1 发行说明
- Logstash 8.12.0 发行说明
- Logstash 8.11.4 发行说明
- Logstash 8.11.3 发行说明
- Logstash 8.11.2 发行说明
- Logstash 8.11.1 发行说明
- Logstash 8.11.0 发行说明
- Logstash 8.10.4 发行说明
- Logstash 8.10.3 发行说明
- Logstash 8.10.2 发行说明
- Logstash 8.10.1 发行说明
- Logstash 8.10.0 发行说明
- Logstash 8.9.2 发行说明
- Logstash 8.9.1 发行说明
- Logstash 8.9.0 发行说明
- Logstash 8.8.2 发行说明
- Logstash 8.8.1 发行说明
- Logstash 8.8.0 发行说明
- Logstash 8.7.1 发行说明
- Logstash 8.7.0 发行说明
- Logstash 8.6.2 发行说明
- Logstash 8.6.1 发行说明
- Logstash 8.6.0 发行说明
- Logstash 8.5.3 发行说明
- Logstash 8.5.2 发行说明
- Logstash 8.5.1 发行说明
- Logstash 8.5.0 发行说明
- Logstash 8.4.2 发行说明
- Logstash 8.4.1 发行说明
- Logstash 8.4.0 发行说明
- Logstash 8.3.3 发行说明
- Logstash 8.3.2 发行说明
- Logstash 8.3.1 发行说明
- Logstash 8.3.0 发行说明
- Logstash 8.2.3 发行说明
- Logstash 8.2.2 发行说明
- Logstash 8.2.1 发行说明
- Logstash 8.2.0 发行说明
- Logstash 8.1.3 发行说明
- Logstash 8.1.2 发行说明
- Logstash 8.1.1 发行说明
- Logstash 8.1.0 发行说明
- Logstash 8.0.1 发行说明
- Logstash 8.0.0 发行说明
- Logstash 8.0.0-rc2 发行说明
- Logstash 8.0.0-rc1 发行说明
- Logstash 8.0.0-beta1 发行说明
- Logstash 8.0.0-alpha2 发行说明
- Logstash 8.0.0-alpha1 发行说明
TCP 输入插件
编辑TCP 输入插件
编辑- 插件版本:v6.4.4
- 发布日期:2024-11-18
- 更新日志
对于其他版本,请参阅版本化插件文档。
获取帮助
编辑有关该插件的问题,请在Discuss论坛中开一个主题。对于错误或功能请求,请在Github中开一个问题。有关 Elastic 支持的插件列表,请查阅Elastic 支持矩阵。
描述
编辑通过 TCP 套接字读取事件。
与 stdin 和文件输入类似,每个事件都被假定为一行文本。
可以根据 mode
的设置,接受来自客户端的连接或连接到服务器。
接受 log4j2 日志
编辑Log4j2 可以通过套接字发送 JSON,我们可以将其与 TCP 输入结合使用来接收日志。
首先,我们需要配置你的应用程序以通过套接字以 JSON 格式发送日志。以下 log4j2.xml 完成此任务。
请注意,你需要在该配置中更改 host
和 port
设置以满足你的需求。
<Configuration> <Appenders> <Socket name="Socket" host="localhost" port="12345"> <JsonLayout compact="true" eventEol="true" /> </Socket> </Appenders> <Loggers> <Root level="info"> <AppenderRef ref="Socket"/> </Root> </Loggers> </Configuration>
要在 Logstash 中接受此配置,你需要使用 TCP 输入和一个日期过滤器
input { tcp { port => 12345 codec => json } }
并添加一个日期过滤器,以获取 log4j2 的 timeMillis
字段并将其用作事件时间戳
filter { date { match => [ "timeMillis", "UNIX_MS" ] } }
事件元数据和 Elastic Common Schema (ECS)
编辑除了解码事件外,此输入还将有关 TCP 连接本身的元数据添加到每个事件。当应用程序被配置为将事件直接发送到此输入的 TCP 侦听器而不包括有关自身的信息时,这会很有帮助。
历史上,此元数据被添加到各种非标准的顶级字段中,这可能会在下游造成混淆和架构冲突。借助 ECS 兼容模式,我们可以确保管道在整个事件生命周期中仍然可以访问此元数据,而不会污染顶级命名空间。
元数据组 | ecs: v1 , v8 |
ecs: disabled |
---|---|---|
来自接收事件的 TCP 连接的源元数据,包括发送方的名称、IP 和出站端口。 |
[@metadata][input][tcp][source][name] |
[host] |
[@metadata][input][tcp][source][ip] |
[@metadata][ip_address] |
|
[@metadata][input][tcp][source][port] |
[port] |
|
来自代理的 TCP 连接的代理元数据。当通过代理接收事件且 |
[@metadata][input][tcp][proxy][ip] |
[proxy_host] |
[@metadata][input][tcp][proxy][port] |
[proxy_port] |
|
来自安全 TCP 连接的 SSL 主题元数据。当 |
[@metadata][input][tcp][ssl][subject] |
[sslsubject] |
例如,Elastic Common Schema 保留了顶级 host
字段,用于存放有关事件发生的主机的信息。如果事件缺少此元数据,则可以从已添加到事件的源 TCP 连接元数据中复制到适当的位置
filter { if [@metadata][input][tcp][source] and ![host] { mutate { copy => { "[@metadata][input][tcp][source][name]" => "[host][name]" "[@metadata][input][tcp][source][ip]" => "[host][ip]" } } } }
TCP 输入配置选项
编辑此插件支持以下配置选项以及稍后描述的通用选项。
设置 | 输入类型 | 必需 |
---|---|---|
否 |
||
否 |
||
否 |
||
字符串,以下之一: |
否 |
|
是 |
||
否 |
||
有效的文件系统路径 |
已弃用 |
|
有效的文件系统路径 |
否 |
|
否 |
||
否 |
||
字符串,以下之一: |
否 |
|
已弃用 |
||
否 |
||
否 |
||
有效的文件系统路径 |
否 |
|
否 |
||
否 |
||
字符串,以下之一: |
否 |
|
已弃用 |
||
否 |
另请参阅通用选项,其中列出了所有输入插件支持的选项。
dns_reverse_lookup_enabled
编辑- 值类型为 布尔值
- 默认值为
true
可以通过禁用此设置来避免 DNS 反向查找。如果禁用,则添加到事件的地址元数据将包含 TCP 层指定的源地址,并且 IP 将不会解析为主机名。
ecs_compatibility
编辑- 值类型为 字符串
-
支持的值为
-
disabled
:在根级别添加非结构化连接元数据 -
v1
、v8
:在[@metadata][input][tcp]
下添加结构化连接元数据
-
-
默认值取决于正在运行的 Logstash 版本
- 当 Logstash 提供
pipeline.ecs_compatibility
设置时,其值将用作默认值 - 否则,默认值为
disabled
。
- 当 Logstash 提供
控制此插件与Elastic Common Schema (ECS)的兼容性。此设置的值会影响事件中TCP 连接元数据的放置位置。
proxy_protocol
编辑- 值类型为 布尔值
- 默认值为
false
代理协议支持,目前仅支持 v1 http://www.haproxy.org/download/1.5/doc/proxy-protocol.txt
ssl_cipher_suites
编辑- 值类型为 字符串
- 默认值包括 JDK 启用的所有密码套件,并且取决于 JDK 配置
支持的密码套件因使用的 Java 版本而异,条目看起来像 TLS_ECDHE_ECDSA_WITH_AES_256_GCM_SHA384
。有关详细信息,请参阅 Oracle 的JDK SunJSSE 提供程序文档和Java 密码套件名称的支持表。
要本地检查支持的密码套件,请运行以下脚本:$LS_HOME/bin/ruby -e 'p javax.net.ssl.SSLServerSocketFactory.getDefault.getSupportedCipherSuites'
。
ssl_client_authentication
编辑- 值可以是以下任意值:
none
、optional
、required
- 默认值为
required
控制服务器在请求客户端连接的证书方面的行为:none
禁用客户端身份验证。required
强制客户端提供证书,而 optional
请求客户端证书,但客户端不是必须提供证书。
当启用双向 TLS(optional
或 required
)时,客户端提供的证书必须由受信任的 ssl_certificate_authorities
(CA) 签名。请注意,服务器不会验证客户端证书的 CN(通用名称)或 SAN(主题备用名称)。
只有当 mode
为 server
且设置了 ssl_certificate_authorities
时,才能使用此设置。
ssl_supported_protocols
编辑- 值类型为 字符串
- 允许的值为:
'TLSv1.1'
、'TLSv1.2'
、'TLSv1.3'
- 默认值取决于所使用的 JDK。使用最新的 Logstash 时,默认值为
['TLSv1.2', 'TLSv1.3']
。'TLSv1.1'
被认为是不安全的,仅为遗留应用程序提供。
建立安全连接时允许使用的 SSL/TLS 版本列表。
如果在任何最新的 JVM(例如与 Logstash 打包的 JVM)上将插件配置为使用 'TLSv1.1'
,则默认情况下禁用该协议,需要通过更改 $JDK_HOME/conf/security/java.security 配置文件中的 jdk.tls.disabledAlgorithms
手动启用。也就是说,需要从列表中删除 TLSv1.1
。
ssl_verification_mode
编辑- 值可以是以下任何一个:
full
、none
- 默认值为
full
定义如何验证 TLS 连接中另一方提供的证书
full
验证服务器证书的颁发日期是否在 not_before 和 not_after 日期之间;是否链接到受信任的证书颁发机构 (CA),以及是否具有与证书内的名称匹配的主机名或 IP 地址。
none
不执行证书验证。
只有当 mode
为 client
时,才能使用此设置。
将证书验证设置为 none
会禁用 SSL/TLS 的许多安全优势,这是非常危险的。有关禁用证书验证的更多信息,请阅读 https://www.cs.utexas.edu/~shmat/shmat_ccs12.pdf
On this page
- 获取帮助
- 描述
- 接受 log4j2 日志
- 事件元数据和 Elastic Common Schema (ECS)
- TCP 输入配置选项
dns_reverse_lookup_enabled
ecs_compatibility
host
mode
port
proxy_protocol
ssl_cert
ssl_certificate
ssl_certificate_authorities
ssl_cipher_suites
ssl_client_authentication
ssl_enable
ssl_enabled
ssl_extra_chain_certs
ssl_key
ssl_key_passphrase
ssl_supported_protocols
ssl_verification_mode
ssl_verify
tcp_keep_alive
- 通用选项
add_field
codec
enable_metric
id
tags
type