日志监控

编辑

日志是确保应用程序和基础设施性能和可靠性的重要工具。它们为调试、分析性能和管理合规性提供了重要信息。

在此页面上,您将找到有关将日志数据发送到 Elasticsearch、配置日志以及分析日志的资源。

开始使用日志

编辑

有关使用 Elastic 摄取、查看和分析日志的高级概述,请参阅开始使用日志和指标

要开始摄取、解析和过滤您自己的数据,请参阅以下页面

  • 流式传输任何日志文件:使用独立的 Elastic Agent 将系统中的日志文件发送到 Elasticsearch,并使用 elastic-agent.yml 文件配置 Elastic Agent 和数据流。
  • 解析和组织日志:将您的日志消息分解为有意义的字段,您可以使用这些字段来过滤和分析数据。
  • 过滤和聚合日志:在您的日志数据中查找特定信息,以获得洞察并监控您的系统。

以下部分提供了有关使用日志的重要概念或高级用例的资源。

将日志数据发送到 Elasticsearch

编辑

您可以根据您的需要,以不同的方式将日志数据发送到 Elasticsearch

  • Elastic Agent:用于日志、指标、安全数据和威胁防御的单个代理。它可以独立部署或由 Fleet 管理

    • 独立:在每台主机上手动配置、部署和更新 Elastic Agent。
    • Fleet:在 Kibana 中集中管理和更新 Elastic Agent 策略和生命周期。
  • Filebeat:一个轻量级的、特定于日志的 shipper,用于转发和集中日志数据。

有关哪种选项最适合您的情况的更多信息,请参阅Elastic Agent 和 Beats 功能比较

安装 Elastic Agent

编辑

以下页面详细介绍了在不同模式下安装和管理 Elastic Agent。

  • 独立 Elastic Agent

    安装 Elastic Agent 并在安装它的系统上本地手动配置它。您负责管理和升级代理。

    请参阅流式传输任何日志文件,了解如何使用独立的 Elastic Agent 将日志文件发送到 Elasticsearch,并使用 elastic-agent.yml 文件配置 Elastic Agent 和您的数据流。

  • Fleet 管理的 Elastic Agent

    安装 Elastic Agent 并使用 Kibana 中的 Fleet 在中央位置定义、配置和管理您的代理。

    请参阅安装 Fleet 管理的 Elastic Agent

  • 容器化环境中的 Elastic Agent

    在容器内部运行 Elastic Agent - 使用 Fleet Server 或独立运行。

    请参阅在容器化环境中安装 Elastic Agent

安装 Filebeat

编辑

Filebeat 是一个轻量级的 shipper,用于转发和集中日志数据。 Filebeat 作为服务安装在您的服务器上,它会监控您指定的日志文件或位置,收集日志事件,并将它们转发到 ElasticsearchLogstash 进行索引。

解析和组织您的日志

编辑

要开始解析和组织您的日志,请参阅解析和组织日志,了解如何将非结构化日志数据分解为有意义的字段,您可以使用这些字段来过滤和聚合您的数据。

以下资源提供了有关解析和组织日志的重要概念的信息

  • 数据流:将仅追加的时间序列数据高效地存储在按时间和大小分区的多个后备索引中。
  • 数据视图:查询来自特定数据集或命名空间的数据流中的日志条目。
  • 索引生命周期管理:根据您的应用程序的性能、弹性和保留要求配置内置的日志策略。
  • 摄取管道:在索引之前,将日志条目解析和转换为合适的格式。
  • 映射:定义数据的存储和索引方式。

查看和监控日志

编辑

使用 Kibana 中的 Logs 应用程序,您可以在一个位置搜索、过滤和跟踪所有摄取到 Elasticsearch 中的日志。

以下资源提供了有关查看和监控日志的信息

  • 日志浏览器:在集中视图中监控从服务器、虚拟机和容器流入的所有日志事件。
  • 检查日志异常:使用机器学习自动检测日志异常。
  • 分类日志条目:使用机器学习对日志消息进行分类,以快速识别日志事件中的模式。
  • 配置数据源:在 Kibana 配置文件的 Logs 应用程序设置中指定日志的源配置。

监控 Kubernetes 日志

编辑

您可以使用 Elastic Agent 与 Kubernetes 集成来收集和解析 Kubernetes 日志。请参阅监控 Kubernetes

查看和监控应用程序日志

编辑

应用程序日志提供了对您的服务和应用程序中发生的事件的宝贵见解。

请参阅流式传输应用程序日志

创建日志阈值警报

编辑

您可以创建一个规则,以便在日志聚合超出阈值时发送警报。

请参阅日志阈值

配置默认日志模板

编辑

使用 logs@custom 组件模板配置默认的 logs 模板。

请参阅日志索引模板参考