« 日志监控 解析和组织日志 »
Elastic 文档 ›Elastic 可观测性 [8.14] ›日志监控

流式传输任何日志文件

编辑

流式传输任何日志文件编辑

本指南介绍如何使用独立的 Elastic Agent 将日志文件发送到 Elasticsearch，以及如何使用 elastic-agent.yml 文件配置 Elastic Agent 和数据流，并使用您设置的数据流查询日志。

先决条件编辑

要按照本指南中的步骤操作，您需要一个 Elastic Stack 部署，其中包括

  • Elasticsearch 用于存储和搜索数据
  • Kibana 用于可视化和管理数据
  • Kibana 用户，在 Fleet 和 Integrations 上拥有 All 权限。由于许多 Integrations 资源在各个空间之间共享，因此用户需要在所有空间中拥有 Kibana 权限。
  • Integrations Server（默认情况下包含在每个 Elasticsearch Service 部署中）

要快速入门，请启动我们托管的 Elasticsearch Service 的部署。Elasticsearch Service 在 AWS、GCP 和 Azure 上可用。 免费试用.

安装和配置独立的 Elastic Agent编辑

完成以下步骤以安装和配置独立的 Elastic Agent，并将您的日志数据发送到 Elasticsearch

  1. 下载并解压缩 Elastic Agent 安装包。
  2. 安装并启动 Elastic Agent。
  3. 配置 Elastic Agent。

步骤 1：下载并解压缩 Elastic Agent 安装包编辑

在您的主机上，下载并解压缩与您的系统相对应的安装包

curl -L -O https://artifacts.elastic.co/downloads/beats/elastic-agent/elastic-agent-8.14.2-darwin-x86_64.tar.gz
tar xzvf elastic-agent-8.14.2-darwin-x86_64.tar.gz

步骤 2：安装并启动 Elastic Agent编辑

下载并解压缩安装包后，您就可以安装 Elastic Agent 了。从代理目录中，运行与您的系统相对应的安装命令

在 macOS、Linux（tar 包）和 Windows 上，运行 install 命令以安装并启动 Elastic Agent 作为托管服务，并启动服务。DEB 和 RPM 包为使用 systemd 的 Linux 系统包含一个服务单元，对于这些系统，您必须启用并启动服务。

您必须以 root 用户身份运行此命令，因为某些集成需要 root 权限才能收集敏感数据。

sudo ./elastic-agent install

在安装过程中，系统会提示您回答一些问题

  1. 当询问您是否要将代理安装为服务时，请输入 Y。
  2. 当询问您是否要将代理注册到 Fleet 时，请输入 n。

步骤 3：配置 Elastic Agent编辑

安装代理后，通过更新 elastic-agent.yml 文件来配置它。

找到您的配置文件编辑

安装代理后，您将在以下位置之一找到 elastic-agent.yml，具体取决于您的系统

主要 Elastic Agent 配置文件位置

/Library/Elastic/Agent/elastic-agent.yml

更新您的配置文件编辑

以下是一个独立的 Elastic Agent 配置示例。要配置您的 Elastic Agent，请将 elastic-agent.yml 文件的内容替换为此配置

outputs:
  default:
    type: elasticsearch
    hosts: '<your-elasticsearch-endpoint>:<port>'
    api_key: 'your-api-key'
inputs:
  - id: your-log-id
    type: filestream
    streams:
      - id: your-log-stream-id
        data_stream:
          dataset: example
        paths:
          - /var/log/your-logs.log

接下来，设置以下字段的值

  • hosts – 从 帮助菜单 (帮助图标) → 连接详细信息 中复制 Elasticsearch 端点。例如，https://my-deployment.es.us-central1.gcp.cloud.es.io:443。

  • api-key – 使用 API 密钥授予代理访问 Elasticsearch 的权限。要为您的代理创建 API 密钥，请参阅 为独立代理创建 API 密钥 文档。

    API 密钥格式应为 <id>:<key>。确保在创建 API 密钥时选择了 Beats。此配置目前不支持 Base64 编码的 API 密钥。

  • inputs.id – 输入的唯一标识符。
  • type – 输入的类型。对于收集日志，将其设置为 filestream。
  • streams.id – 日志数据流的唯一标识符。
  • data_stream.dataset – 数据集数据流的名称。将此数据流命名为任何表示数据来源的名称。在此配置中，数据集设置为 example。默认值为 generic。
  • paths – 日志文件的路径。您也可以使用类似 /var/log/your-logs.log* 的模式。
重新启动 Elastic Agent编辑

更新配置文件后，您需要重新启动 Elastic Agent

首先，使用适用于您的系统的命令停止 Elastic Agent 及其相关可执行文件

sudo launchctl unload /Library/LaunchDaemons/co.elastic.elastic-agent.plist

如果系统重新启动，Elastic Agent 会自动重新启动。

接下来，使用适用于您的系统的命令重新启动 Elastic Agent

sudo launchctl load /Library/LaunchDaemons/co.elastic.elastic-agent.plist

排查您的 Elastic Agent 配置编辑

如果您在 Kibana 中看不到日志文件，请在 elastic-agent.yml 文件中验证以下内容

  • paths 下的日志文件路径是否正确。
  • 您的 API 密钥是否为 <id>:<key> 格式。如果不是，您的 API 密钥可能处于不受支持的格式，您需要以 Beats 格式创建 API 密钥。

如果您仍然遇到问题，请参阅 Elastic Agent 故障排除 和 配置独立的 Elastic Agent。

后续步骤编辑

配置代理并开始将日志数据流式传输到 Elasticsearch 后

  • 请参阅 解析和组织日志 文档，了解有关从日志数据中提取结构化字段、将日志重新路由到不同的数据流以及过滤和聚合日志数据的更多信息。
  • 请参阅 过滤和聚合日志 文档，了解有关过滤和聚合日志数据以查找特定信息、获得洞察力以及更有效地监控系统的更多信息。
« 日志监控 解析和组织日志 »