« Filebeat 概述 设置和运行 Filebeat »
Elastic 文档 ›Filebeat 参考 [8.14]

Filebeat 快速入门：安装和配置

编辑

Filebeat 快速入门：安装和配置编辑

本指南介绍如何快速开始收集日志。您将学习如何

  • 在要监控的每个系统上安装 Filebeat
  • 指定日志文件的位置
  • 将日志数据解析为字段并将其发送到 Elasticsearch
  • 在 Kibana 中可视化日志数据
Filebeat System dashboard

准备工作编辑

您需要使用 Elasticsearch 来存储和搜索数据，并使用 Kibana 来可视化和管理数据。

要快速上手，请启动我们托管的 Elasticsearch Service的部署。Elasticsearch Service 在 AWS、GCP 和 Azure 上可用。免费试用。

步骤 1：安装 Filebeat编辑

在要监控的所有服务器上安装 Filebeat。

要下载并安装 Filebeat，请使用适用于您的系统的命令

curl -L -O https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-8.14.3-amd64.deb
sudo dpkg -i filebeat-8.14.3-amd64.deb

所示命令适用于 AMD 平台，但 ARM 软件包也可用。有关可用软件包的完整列表，请参阅下载页面。

其他安装选项编辑

步骤 2：连接到 Elastic Stack编辑

设置 Filebeat 需要连接到 Elasticsearch 和 Kibana。

在filebeat.yml中设置连接信息。要找到此配置文件，请参阅目录布局。

指定 Elasticsearch Service 的cloud.id，并将cloud.auth设置为有权设置 Filebeat 的用户。例如

cloud.id: "staging:dXMtZWFzdC0xLmF3cy5mb3VuZC5pbyRjZWM2ZjI2MWE3NGJmMjRjZTMzYmI4ODExYjg0Mjk0ZiRjNmMyY2E2ZDA0MjI0OWFmMGNjN2Q3YTllOTYyNTc0Mw=="
cloud.auth: "filebeat_setup:YOUR_PASSWORD"

此示例显示了硬编码密码，但您应该将敏感值存储在密钥库中。

要详细了解所需的角色和权限，请参阅授予用户访问受保护资源的权限。

您可以将数据发送到其他输出，例如 Logstash，但这需要额外的配置和设置。

步骤 3：收集日志数据编辑

有几种方法可以使用 Filebeat 收集日志数据

  • 数据收集模块 - 简化常见日志格式的收集、解析和可视化
  • ECS 记录器 - 将应用程序日志构建和格式化为与 ECS 兼容的 JSON
  • 手动 Filebeat 配置

启用和配置数据收集模块编辑

  1. 确定需要启用的模块。要查看可用模块的列表，请运行

    filebeat modules list

  2. 在安装目录中，启用一个或多个模块。例如，以下命令启用nginx模块配置

    filebeat modules enable nginx

  3. 在modules.d下的模块配置中，更改模块设置以匹配您的环境。您必须在模块中至少启用一个文件集。默认情况下禁用文件集。

    例如，日志位置是根据操作系统设置的。如果您的日志不在默认位置，请设置paths变量

    - module: nginx
  access:
    enabled: true
    var.paths: ["/var/log/nginx/access.log*"]

要查看模块的完整变量列表，请参阅模块下的文档。

要测试您的配置文件，请切换到安装 Filebeat 二进制文件的目录，并使用以下指定的选项在前台运行 Filebeat：./filebeat test config -e。确保您的配置文件位于 Filebeat 预期的路径中（请参阅目录布局），或使用-c标志指定配置文件的路径。

有关配置 Filebeat 的更多信息，另请参阅

启用和配置 ECS 记录器以收集应用程序日志编辑

虽然 Filebeat 可用于提取原始的纯文本应用程序日志，但我们建议您在提取时构建您的日志。这使您可以提取字段，例如日志级别和异常堆栈跟踪。

Elastic 通过以各种流行的编程语言提供应用程序日志格式化程序来简化此过程。这些插件将您的日志格式化为与 ECS 兼容的 JSON，从而无需手动解析日志。

请参阅ECS 记录器以开始使用。

手动配置 Filebeat编辑

如果找不到适合您文件类型的模块，或者无法更改应用程序的日志输出，请参阅配置输入手动。

步骤 4：设置资产编辑

Filebeat 附带预定义的资产，用于解析、索引和可视化您的数据。要加载这些资产，请执行以下操作

  1. 确保filebeat.yml中指定的用户有权设置 Filebeat。

  2. 在安装目录中，运行

    filebeat setup -e

    -e是可选的，它将输出发送到标准错误，而不是配置的日志输出。

此步骤加载推荐的索引模板以写入 Elasticsearch，并部署示例仪表板以在 Kibana 中可视化数据。

此步骤不会加载用于解析日志行的提取管道。默认情况下，提取管道会在您第一次运行模块并连接到 Elasticsearch 时自动设置。

设置初始环境需要连接到 Elasticsearch（或 Elasticsearch Service）。如果您使用的是其他输出，例如 Logstash，请参阅

不应使用 Filebeat 来提取其自身的日志，因为这可能会导致无限循环。

步骤 5：启动 Filebeat编辑

在启动 Filebeat 之前，请修改 filebeat.yml 中的用户凭据，并指定一个授权发布事件的用户。

要启动 Filebeat，请运行

sudo service filebeat start

如果您使用 init.d 脚本来启动 Filebeat，则无法指定命令行标志（请参阅命令参考）。要指定标志，请在前台启动 Filebeat。

另请参阅Filebeat 和 systemd。

Filebeat 应开始将事件流式传输到 Elasticsearch。

步骤 6：在 Kibana 中查看数据编辑

Filebeat 附带预先构建的 Kibana 仪表板和 UI，用于可视化日志数据。您之前在运行 setup 命令时加载了仪表板。

要打开仪表板，请执行以下操作

  1. 启动 Kibana

    1. 登录到您的 Elastic Cloud 帐户。
    2. 导航到您部署中的 Kibana 端点。

  2. 在侧边导航栏中，单击 发现。要查看 Filebeat 数据，请确保选择了预定义的 filebeat-* 索引模式。

    如果您在 Kibana 中没有看到数据，请尝试将时间过滤器更改为更大的范围。默认情况下，Kibana 显示最近 15 分钟的数据。

  3. 在侧边导航栏中，单击 仪表板，然后选择要打开的仪表板。

这些仪表板作为示例提供。我们建议您自定义它们以满足您的需求。

下一步是什么？编辑

现在，您的日志已流式传输到 Elasticsearch 中，接下来了解如何统一您的日志、指标、正常运行时间和应用程序性能数据。

  1. 通过安装和配置其他 Elastic Beats 从其他来源提取数据

    Elastic Beats 用于捕获

    Metricbeat

    基础设施指标

    Winlogbeat

    Windows 事件日志

    Heartbeat

    正常运行时间信息

    APM

    应用程序性能指标

    Auditbeat

    审计事件

  2. 使用 Kibana 中的可观测性应用程序搜索所有数据

    Elastic 应用程序 用途

    指标应用程序

    探索有关整个生态系统中系统和服务的指标

    日志应用程序

    实时跟踪相关日志数据

    正常运行时间应用程序

    监控应用程序和服务中的可用性问题

    APM 应用程序

    监控应用程序性能

    SIEM 应用程序

    分析安全事件
« Filebeat 概述 设置和运行 Filebeat »