« 日志监控 解析和组织日志 »
Elastic 文档 ›Elastic 可观察性 [8.16] ›日志监控

流式传输任何日志文件

编辑

流式传输任何日志文件

编辑

本指南介绍如何使用独立 Elastic Agent 将日志文件发送到 Elasticsearch，以及如何使用 elastic-agent.yml 文件配置 Elastic Agent 和数据流，并使用您设置的数据流查询日志。

先决条件

编辑

要按照本指南中的步骤操作，您需要一个包含以下内容的 Elastic Stack 部署

  • Elasticsearch 用于存储和搜索数据
  • Kibana 用于可视化和管理数据
  • 具有 Fleet 和 Integrations 上 All 权限的 Kibana 用户。由于许多 Integrations 资源在多个空间中共享，因此用户需要在所有空间中拥有 Kibana 权限。
  • 集成服务器（每个 Elasticsearch Service 部署默认包含）

要快速入门，请启动我们托管的 Elasticsearch Service 的部署。Elasticsearch Service 可在 AWS、GCP 和 Azure 上使用。免费试用。

安装和配置独立 Elastic Agent

编辑

完成以下步骤以安装和配置独立 Elastic Agent，并将日志数据发送到 Elasticsearch

  1. 下载并解压缩 Elastic Agent 安装包。
  2. 安装并启动 Elastic Agent。
  3. 配置 Elastic Agent。

步骤 1：下载并解压缩 Elastic Agent 安装包

编辑

在您的主机上，下载并解压缩与您的系统相对应的安装包

curl -L -O https://artifacts.elastic.co/downloads/beats/elastic-agent/elastic-agent-8.16.0-darwin-x86_64.tar.gz
tar xzvf elastic-agent-8.16.0-darwin-x86_64.tar.gz

步骤 2：安装并启动 Elastic Agent

编辑

下载并解压缩安装包后，您就可以安装 Elastic Agent 了。从代理目录中，运行与您的系统相对应的安装命令

在 macOS、Linux（tar 包）和 Windows 上，运行 install 命令以将 Elastic Agent 作为托管服务安装并启动，并启动服务。DEB 和 RPM 包包括一个适用于具有 systemd 的 Linux 系统的服务单元，对于这些系统，您必须启用并启动服务。

您必须以 root 用户身份运行此命令，因为某些集成需要 root 权限才能收集敏感数据。

sudo ./elastic-agent install

在安装过程中，系统会提示您回答一些问题

  1. 当询问您是否要将代理安装为服务时，请输入 Y。
  2. 当询问您是否要将代理注册到 Fleet 时，请输入 n。

步骤 3：配置 Elastic Agent

编辑

安装代理后，通过更新 elastic-agent.yml 文件来配置它。

找到您的配置文件
编辑

安装代理后，您将在以下位置之一找到 elastic-agent.yml，具体取决于您的系统

主要 Elastic Agent 配置文件位置

/Library/Elastic/Agent/elastic-agent.yml

更新您的配置文件
编辑

以下是独立 Elastic Agent 配置的示例。要配置您的 Elastic Agent，请将 elastic-agent.yml 文件的内容替换为此配置

outputs:
  default:
    type: elasticsearch
    hosts: '<your-elasticsearch-endpoint>:<port>'
    api_key: 'your-api-key'
inputs:
  - id: your-log-id
    type: filestream
    streams:
      - id: your-log-stream-id
        data_stream:
          dataset: example
        paths:
          - /var/log/your-logs.log

接下来，设置以下字段的值

  • hosts – 从 帮助菜单（help icon）→ 连接详细信息 中复制 Elasticsearch 端点。例如，https://my-deployment.es.us-central1.gcp.cloud.es.io:443。

  • api-key – 使用 API 密钥授予代理访问 Elasticsearch 的权限。要为您的代理创建 API 密钥，请参阅 为独立代理创建 API 密钥 文档。

    API 密钥格式应为 <id>:<key>。确保在创建 API 密钥时选择了 Beats。此配置目前不支持 Base64 编码的 API 密钥。

  • inputs.id – 输入的唯一标识符。
  • type – 输入的类型。对于收集日志，将其设置为 filestream。
  • streams.id – 日志数据流的唯一标识符。
  • data_stream.dataset – 数据集数据流的名称。将此数据流命名为任何表示数据源的名称。在此配置中，数据集设置为 example。默认值为 generic。
  • paths – 日志文件路径。您还可以使用模式，例如 /var/log/your-logs.log*。
重新启动 Elastic Agent
编辑

更新配置文件后，您需要重新启动 Elastic Agent

首先，使用与您的系统兼容的命令停止 Elastic Agent 及其相关可执行文件

sudo launchctl unload /Library/LaunchDaemons/co.elastic.elastic-agent.plist

如果系统重新启动，Elastic Agent 将自动重新启动。

接下来，使用与您的系统兼容的命令重新启动 Elastic Agent

sudo launchctl load /Library/LaunchDaemons/co.elastic.elastic-agent.plist

对 Elastic Agent 配置进行故障排除

编辑

如果您在 Kibana 中没有看到日志文件，请在 elastic-agent.yml 文件中验证以下内容

  • paths 下的日志文件路径是否正确。
  • 您的 API 密钥是否为 <id>:<key> 格式。如果不是，则您的 API 密钥可能为不受支持的格式，您需要以 Beats 格式创建 API 密钥。

如果您仍然遇到问题，请参阅 Elastic Agent 故障排除 和 配置独立 Elastic Agent。

后续步骤

编辑

配置代理并开始将日志数据流式传输到 Elasticsearch 后

  • 请参阅 解析和组织日志 文档，了解有关从日志数据中提取结构化字段、将日志重新路由到不同的数据流以及过滤和聚合日志数据的信息。
  • 请参阅 过滤和聚合日志 文档，了解有关过滤和聚合日志数据以查找特定信息、获得洞察力以及更有效地监控系统的信息。
« 日志监控 解析和组织日志 »