« 使用查找丰富数据 管理 GeoIP 数据库 »
Elastic 文档 ›Logstash 参考 [8.14]

部署和扩展 Logstash

编辑

部署和扩展 Logstash编辑

Elastic Stack 适用于大量用例，从运营日志和指标分析到企业和应用程序搜索。确保您的数据可扩展、持久且安全地传输到 Elasticsearch 至关重要，尤其是在任务关键型环境中。

本文档的目的是重点介绍 Logstash 最常见的架构模式，以及如何随着部署的增长有效地扩展。重点将围绕运营日志、指标和安全分析用例，因为它们往往需要更大规模的部署。此处提供的部署和扩展建议可能会因您的具体要求而异。

入门编辑

对于初次使用的用户，如果您只是想跟踪日志文件以了解 Elastic Stack 的强大功能，我们建议您尝试 Filebeat 模块。Filebeat 模块使您能够快速收集、解析和索引流行的日志类型，并在几分钟内查看预先构建的 Kibana 仪表板。 Metricbeat 模块 提供了类似的体验，但使用的是指标数据。在这种情况下，Beats 会将数据直接发送到 Elasticsearch，其中 摄取节点 将处理和索引您的数据。

deploy1

Logstash 简介编辑

将 Logstash 集成到您的架构中的主要好处是什么？

  • 在摄取高峰期进行扩展 - Logstash 具有自适应的基于磁盘的缓冲系统，可以吸收传入的吞吐量，从而减轻反压
  • 从其他数据源（如数据库、S3 或消息队列）摄取
  • 将数据发送到多个目标，如 S3、HDFS 或写入文件
  • 使用条件数据流逻辑构建更复杂的处理管道

扩展摄取编辑

Beats 和 Logstash 使摄取变得出色。它们共同提供了一个可扩展且具有弹性的全面解决方案。您可以期待什么？

  • 水平可扩展性、高可用性和可变负载处理
  • 具有至少一次传递保证的消息持久性
  • 端到端安全传输，具有身份验证和线路加密

Beats 和 Logstash编辑

Beats 运行在数千台边缘主机服务器上，收集、跟踪日志并将日志发送到 Logstash。Logstash 充当数据统一和丰富的集中式流引擎。 Beats 输入插件 为 Beats 提供了一个安全的、基于确认的端点，用于将数据发送到 Logstash。

deploy2

强烈建议启用持久队列，并且这些架构特征假定已启用它们。我们鼓励您查看 持久队列 (PQ) 文档，以了解功能优势和有关弹性的更多详细信息。

可扩展性编辑

Logstash 是水平可扩展的，可以形成运行相同管道的节点组。Logstash 的自适应缓冲功能将促进平滑流式传输，即使在可变吞吐量负载下也是如此。如果 Logstash 层成为摄取瓶颈，只需添加更多节点即可扩展。以下是一些一般性建议

  • Beats 应该在 Logstash 节点组之间进行 负载均衡。
  • 为了实现高可用性，建议至少使用两个 Logstash 节点。
  • 通常每个 Logstash 节点只部署一个 Beats 输入，但每个 Logstash 节点也可以部署多个 Beats 输入，以为不同的数据源公开独立的端点。

弹性编辑

当使用 Filebeat 或 Winlogbeat 在此摄取流中收集日志时，可以保证 至少一次传递。从 Filebeat 或 Winlogbeat 到 Logstash 以及从 Logstash 到 Elasticsearch 的通信协议都是同步的，并支持确认。其他 Beats 尚不支持确认。

Logstash 持久队列提供跨节点故障的保护。对于 Logstash 中的磁盘级弹性，确保磁盘冗余非常重要。对于本地部署，建议您配置 RAID。在云或容器化环境中运行时，建议您使用具有反映数据 SLA 的复制策略的持久磁盘。

确保为至少一次保证设置 queue.checkpoint.writes: 1。有关更多详细信息，请参阅 持久队列持久性 文档。

处理编辑

Logstash 通常会使用 grok 或 dissect 提取字段，增强 地理 信息，并且可以使用 文件、数据库 或 Elasticsearch 查找数据集进一步丰富事件。请注意，处理复杂性会影响整体吞吐量和 CPU 利用率。请务必查看其他 可用的过滤器插件。

安全传输编辑

企业级安全性在整个交付链中都可用。

监控编辑

当运行 Logstash 5.2 或更高版本时，监控 UI 提供对部署指标的深入了解，帮助您在扩展时观察性能并缓解瓶颈。监控是基本许可证下的 X-Pack 功能，因此 免费使用。要开始使用，请参阅 监控 Logstash。

如果首选外部监控，则可以使用 监控 API 返回时间点指标快照。

添加其他常用来源编辑

用户可能还有其他收集日志数据的方法，并且可以轻松地将它们集成和集中到 Elastic Stack 中。让我们来看看一些场景

deploy3

TCP、UDP 和 HTTP 协议编辑

TCP、UDP 和 HTTP 协议是将数据馈送到 Logstash 的常用方法。Logstash 可以使用相应的 TCP、UDP 和 HTTP 输入插件公开端点侦听器。下面列举的数据源通常通过这三种协议之一摄取。

TCP 和 UDP 协议不支持应用程序级确认，因此连接问题可能会导致数据丢失。

对于高可用性场景，应添加第三方硬件或软件负载均衡器（如 HAProxy）以将流量扇出到 Logstash 节点组。

网络和安全数据编辑

尽管 Beats 可能已经满足了您的数据摄取用例，但网络和安全数据集有多种形式。让我们谈谈其他一些摄取点。

  • 网络线路数据 - 使用 Packetbeat 收集和分析网络流量。
  • Netflow v5/v9/v10 - Logstash 使用 Netflow 编解码器 理解来自 Netflow/IPFIX 导出器的数据。
  • Nmap - Logstash 使用 Nmap 编解码器 接受和解析 Nmap XML 数据。
  • SNMP 陷阱 - Logstash 具有本机 SNMP 陷阱输入。
  • CEF - Logstash 使用 CEF 编解码器 接受和解析来自 Arcsight SmartConnectors 等系统的 CEF 数据。有关更多详细信息，请参阅此 博客系列。

集中式 Syslog 服务器编辑

现有的 syslog 服务器技术（如 rsyslog 和 syslog-ng）通常会将 syslog 通过 TCP 或 UDP 端点发送到 Logstash 进行提取、处理和持久化。如果数据格式符合 RFC3164，则可以直接将其馈送到 Logstash syslog 输入。

基础设施和应用程序数据以及物联网编辑

可以使用 Metricbeat 收集基础设施和应用程序指标，但应用程序也可以将 webhook 发送到 Logstash HTTP 输入，或者使用 HTTP poller 输入插件 从 HTTP 端点轮询指标。

对于使用 log4j2 记录日志的应用程序，建议使用 SocketAppender 将 JSON 发送到 Logstash TCP 输入。或者，log4j2 也可以记录到文件以使用 FIlebeat 进行收集。不建议使用 log4j1 SocketAppender。

物联网设备（如 Raspberry Pi、智能手机和联网车辆）通常通过其中一种协议发送遥测数据。

与消息队列集成编辑

如果您在现有基础设施中利用了消息队列技术，那么将数据导入 Elastic Stack 会很容易。对于已经使用外部队列层（如 Redis 或 RabbitMQ）进行数据缓冲的现有 Logstash 用户，建议使用 Logstash 持久队列而不是外部队列层。这将通过消除摄取架构中不必要的复杂性层来帮助简化整体管理。

对于希望集成来自现有 Kafka 部署的数据或需要底层使用临时存储的用户，Kafka 可以充当数据中心，Beats 可以将数据持久化到其中，而 Logstash 节点可以从中消费数据。

deploy4

其他 TCP、UDP 和 HTTP 源可以使用 Logstash 作为管道持久化到 Kafka，以实现高可用性，而不是负载均衡器。然后，一组 Logstash 节点可以使用 Kafka 输入 从主题中消费数据，以在传输过程中进一步转换和丰富数据。

弹性和恢复编辑

当 Logstash 从 Kafka 消费数据时，应启用持久队列，这将增加传输弹性，以减少 Logstash 节点故障期间重新处理数据的需求。在这种情况下，建议使用默认的持久队列磁盘分配大小 queue.max_bytes: 1GB。

如果 Kafka 配置为长时间保留数据，则可以在灾难恢复和协调的情况下从 Kafka 重新处理数据。

其他消息队列集成编辑

虽然不需要额外的队列层，但 Logstash 可以从大量其他消息队列技术中消费数据，例如 RabbitMQ 和 Redis。它还支持从托管队列服务（如 Pub/Sub、Kinesis 和 SQS）中摄取数据。

« 使用查找丰富数据 管理 GeoIP 数据库 »