日志监控编辑

日志是确保应用程序和基础设施性能和可靠性的重要工具。它们为调试、分析性能和管理合规性提供重要信息。

在本页中,您将找到将日志数据发送到 Elasticsearch、配置日志和分析日志的资源。

开始使用日志编辑

有关使用 Elastic 摄取、查看和分析日志的高级概述,请参阅 开始使用日志和指标

要开始摄取、解析和过滤您自己的数据,请参阅以下页面

  • 流式传输任何日志文件: 使用独立的 Elastic Agent 将日志文件从您的系统发送到 Elasticsearch,并使用 elastic-agent.yml 文件配置 Elastic Agent 和您的数据流。
  • 解析和组织日志: 将您的日志消息分解为有意义的字段,您可以使用这些字段来过滤和分析您的数据。
  • 过滤和聚合日志: 在您的日志数据中查找特定信息以获得洞察力并监控您的系统。

以下部分提供了与使用日志相关的关键概念或高级用例的资源。

将日志数据发送到 Elasticsearch编辑

您可以根据需要以不同的方式将日志数据发送到 Elasticsearch

  • Elastic Agent: 用于日志、指标、安全数据和威胁防御的单个代理。它可以独立部署,也可以由 Fleet 管理

    • 独立: 手动配置、部署和更新每个主机上的 Elastic Agent。
    • Fleet: 在 Kibana 中集中管理和更新 Elastic Agent 策略和生命周期。
  • Filebeat: 用于转发和集中日志数据的轻量级、特定于日志的发送器。

有关最适合您的情况的选项的更多信息,请参阅 Elastic Agent 和 Beats 功能比较

安装 Elastic Agent编辑

以下页面详细介绍了在不同模式下安装和管理 Elastic Agent。

  • 独立 Elastic Agent

    安装 Elastic Agent 并手动将其配置在安装它的系统的本地位置。您负责管理和升级代理。

    请参阅 流式传输任何日志文件,了解如何使用独立的 Elastic Agent 将日志文件发送到 Elasticsearch,以及如何使用 elastic-agent.yml 文件配置 Elastic Agent 和您的数据流。

  • Fleet 管理的 Elastic Agent

    安装 Elastic Agent 并使用 Kibana 中的 Fleet 在集中位置定义、配置和管理您的代理。

    请参阅 安装 Fleet 管理的 Elastic Agent

  • 容器化环境中的 Elastic Agent

    在容器内运行 Elastic Agent - 无论是使用 Fleet Server 还是独立运行。

    请参阅 在容器化环境中安装 Elastic Agent

安装 Filebeat编辑

Filebeat 是一种轻量级发送器,用于转发和集中日志数据。Filebeat 作为一项服务安装在您的服务器上,它监控您指定的日志文件或位置,收集日志事件,并将它们转发到 ElasticsearchLogstash 以进行索引。

解析和组织您的日志编辑

要开始解析和组织您的日志,请参阅 解析和组织日志,了解有关将非结构化日志数据分解为有意义的字段的信息,您可以使用这些字段来过滤和聚合您的数据。

以下资源提供了与解析和组织日志相关的关键概念的信息

  • 数据流: 在多个按时间和大小分区的支持索引中有效地存储仅追加的时间序列数据。
  • 数据视图: 从特定数据集或命名空间的数据流中查询日志条目。
  • 索引生命周期管理: 根据应用程序的性能、弹性和保留要求配置内置日志策略。
  • 摄取管道: 在索引之前解析和转换日志条目以适合的格式。
  • 映射: 定义数据如何存储和索引。

查看和监控日志编辑

使用 Kibana 中的日志应用程序,您可以在一个地方搜索、过滤和尾随所有摄取到 Elasticsearch 的日志。

以下资源提供了有关查看和监控日志的信息

  • 尾随日志文件: 在集中视图中监控来自服务器、虚拟机和容器的所有日志事件流。
  • 检查日志异常: 使用机器学习自动检测日志异常。
  • 对日志条目进行分类: 使用机器学习对日志消息进行分类,以快速识别日志事件中的模式。
  • 配置数据源: 在 Kibana 配置文件中的日志应用程序设置中指定日志的源配置。

监控 Kubernetes 日志编辑

您可以将 Elastic Agent 与 Kubernetes 集成一起使用来收集和解析 Kubernetes 日志。请参阅 监控 Kubernetes

查看和监控应用程序日志编辑

应用程序日志提供了对服务和应用程序中发生的事件的宝贵见解。

请参阅 流式传输应用程序日志

创建日志阈值警报编辑

您可以创建一个规则,当日志聚合超过阈值时发送警报。

请参阅 日志阈值

配置默认日志模板编辑

使用 logs@custom 组件模板配置默认的 logs 模板。

请参阅 日志索引模板参考