数据摄取架构编辑

我们提供多种数据摄取架构,以满足各种用例和网络配置。

要将数据摄取到 Elasticsearch,请使用最简单且满足您的需求并满足您的用例的选项。对于许多用户和用例,最简单的方法是使用 Elastic Agent 摄取数据并将其发送到 Elasticsearch。Elastic Agent 和 Elastic Agent 集成 可用于许多流行的平台和服务,是一个良好的起点。

您可以在自己的硬件上托管 Elasticsearch,也可以将数据发送到 Elastic Cloud 上的 Elasticsearch。对于大多数用户来说,Elastic Agent 直接写入 Elastic Cloud 上的 Elasticsearch 提供了最简单、最快的时间价值。我们的托管 Elasticsearch 服务可在 AWS、GCP 和 Azure 上使用,您可以免费试用

决策树

使用决策树的数据摄取管道

数据摄取架构 使用场景

Elastic Agent 到 Elasticsearch

Image showing Elastic Agent collecting data and sending to Elasticsearch

您的数据源有 Elastic Agent 集成

Elastic Agent 到 Logstash 到 Elasticsearch

Image showing Elastic Agent to Logstash to Elasticsearch

您需要 Logstash 提供的其他功能

  • 丰富 Elastic Agent 和 Elasticsearch 之间
  • 持久队列 (PQ) 缓冲 以适应网络问题和下游不可用性
  • 代理 在 Elastic Agent 无法连接到 Elastic Agent 网络之外的情况下
  • 数据需要根据内容路由到多个 Elasticsearch 集群和其他目标

Elastic Agent 到代理到 Elasticsearch

Image showing connections between Elastic Agent and Elasticsearch using a proxy

Agent 具有 网络限制,阻止连接到 Elastic Agent 网络之外。请注意,Logstash 作为代理 是一个选项。

Elastic Agent 到 Elasticsearch,以 Kafka 作为中间件消息队列

Image showing Elastic Agent collecting data and using Kafka as a message queue enroute to Elasticsearch

Kafka 是您的 中间件消息队列

Logstash 到 Elasticsearch

Image showing Logstash collecting data and sending to Elasticsearch

您需要从 Elastic Agent 无法读取的源 (例如数据库、AWS Kinesis) 收集数据。查看 Logstash 输入插件

Elastic 无缝架构

Image showing Elastic Stack in an air-gapped environment

您希望在无缝环境 (无法访问外部网络) 中部署 Elastic Agent 和 Elastic Stack