›

Filebeat 快速入门：安装和配置

编辑

Filebeat 快速入门：安装和配置

编辑

本指南介绍如何快速开始日志收集。您将学习如何：

在您想要监控的每个系统上安装 Filebeat
指定日志文件的位置
将日志数据解析为字段并将其发送到 Elasticsearch
在 Kibana 中可视化日志数据

开始之前

编辑

您需要 Elasticsearch 用于存储和搜索数据，以及 Kibana 用于可视化和管理数据。

要快速入门，请启动我们托管的 Elasticsearch 服务的部署。Elasticsearch 服务可在 AWS、GCP 和 Azure 上使用。免费试用。

步骤 1：安装 Filebeat

编辑

在您想要监控的所有服务器上安装 Filebeat。

要下载和安装 Filebeat，请使用适合您系统的命令

curl -L -O https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-8.16.0-amd64.deb
sudo dpkg -i filebeat-8.16.0-amd64.deb

curl -L -O https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-8.16.0-x86_64.rpm
sudo rpm -vi filebeat-8.16.0-x86_64.rpm

curl -L -O https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-8.16.0-darwin-x86_64.tar.gz
tar xzvf filebeat-8.16.0-darwin-x86_64.tar.gz

curl -L -O https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-8.16.0-linux-x86_64.tar.gz
tar xzvf filebeat-8.16.0-linux-x86_64.tar.gz

下载 Filebeat Windows zip 文件：https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-8.16.0-windows-x86_64.zip
将 zip 文件的内容解压缩到C:\Program Files。
将filebeat-8.16.0-windows-x86_64目录重命名为Filebeat。
以管理员身份打开 PowerShell 提示符（右键单击 PowerShell 图标并选择以管理员身份运行）。

在 PowerShell 提示符下，运行以下命令将 Filebeat 安装为 Windows 服务

PS > cd 'C:\Program Files\Filebeat'
PS C:\Program Files\Filebeat> .\install-service-filebeat.ps1

如果您的系统禁用了脚本执行，则需要将当前会话的执行策略设置为允许脚本运行。例如：PowerShell.exe -ExecutionPolicy UnRestricted -File .\install-service-filebeat.ps1。

显示的命令适用于 AMD 平台，但 ARM 软件包也可用。有关可用软件包的完整列表，请参阅下载页面。

其他安装选项

编辑

步骤 2：连接到 Elastic Stack

编辑

需要连接到 Elasticsearch 和 Kibana 才能设置 Filebeat。

在filebeat.yml中设置连接信息。要查找此配置文件，请参阅目录布局。

指定您的 Elasticsearch 服务的cloud.id，并将cloud.auth设置为有权设置 Filebeat 的用户。例如

cloud.id: "staging:dXMtZWFzdC0xLmF3cy5mb3VuZC5pbyRjZWM2ZjI2MWE3NGJmMjRjZTMzYmI4ODExYjg0Mjk0ZiRjNmMyY2E2ZDA0MjI0OWFmMGNjN2Q3YTllOTYyNTc0Mw=="
cloud.auth: "filebeat_setup:YOUR_PASSWORD"

此示例显示了一个硬编码密码，但您应该将敏感值存储在密钥存储中。

设置 Filebeat 可以找到 Elasticsearch 安装的主机和端口，并设置有权设置 Filebeat 的用户的用户名和密码。例如

output.elasticsearch:
  hosts: ["https://myEShost:9200"]
  username: "filebeat_internal"
  password: "YOUR_PASSWORD" 
  ssl:
    enabled: true
    ca_trusted_fingerprint: "b9a10bbe64ee9826abeda6546fc988c8bf798b41957c33d05db736716513dc9c"

此示例显示了一个硬编码密码，但您应该将敏感值存储在密钥存储中。

此示例显示了一个硬编码指纹，但您应该将敏感值存储在密钥存储中。指纹是 CA 证书的十六进制编码 SHA-256，当您第一次启动 Elasticsearch 时，会默认启用 Elasticsearch 的安全功能，例如网络加密 (TLS)。如果您使用的是 Elasticsearch 首次启动时生成的自签名证书，则需要在此处添加其指纹。指纹会打印在 Elasticsearch 启动日志中，或者您可以参考将客户端连接到 Elasticsearch 文档以获取其他检索选项。如果您为 Elasticsearch 提供自己的 SSL 证书，请参考有关如何设置 SSL 的 Filebeat 文档。

如果您计划使用我们预构建的 Kibana 仪表板，请配置 Kibana 端点。如果 Kibana 与 Elasticsearch 运行在同一主机上，则跳过此步骤。

  setup.kibana:
    host: "mykibanahost:5601" 
    username: "my_kibana_user"  
    password: "{pwd}"

	运行 Kibana 的机器的主机名和端口，例如`mykibanahost:5601`。如果您在端口号后指定路径，请包含方案和端口：`http://mykibanahost:5601/path`。
	Kibana 的`username`和`password`设置是可选的。如果您未为 Kibana 指定凭据，则 Filebeat 将使用为 Elasticsearch 输出指定的`username`和`password`。
	要使用预构建的 Kibana 仪表板，此用户必须被授权查看仪表板或具有`kibana_admin`内置角色。

要了解有关所需角色和权限的更多信息，请参阅授予用户访问受保护资源的权限。

您可以将数据发送到其他输出，例如 Logstash，但这需要额外的配置和设置。

步骤 3：收集日志数据

编辑

有几种方法可以使用 Filebeat 收集日志数据

数据收集模块——简化常见日志格式的收集、解析和可视化
ECS 记录器——将应用程序日志结构化并格式化为与 ECS 兼容的 JSON
手动 Filebeat 配置

启用和配置数据收集模块

编辑

确定您需要启用的模块。要查看可用模块的列表，请运行

filebeat modules list

filebeat modules list

./filebeat modules list

./filebeat modules list

PS > .\filebeat.exe modules list

从安装目录中，启用一个或多个模块。例如，以下命令启用nginx模块配置

filebeat modules enable nginx

filebeat modules enable nginx

./filebeat modules enable nginx

./filebeat modules enable nginx

PS > .\filebeat.exe modules enable nginx

在modules.d下的模块配置中，更改模块设置以匹配您的环境。您必须在模块中启用至少一个文件集。文件集默认情况下处于禁用状态。

例如，日志位置是根据操作系统设置的。如果您的日志不在默认位置，请设置paths变量
```
- module: nginx
  access:
    enabled: true
    var.paths: ["/var/log/nginx/access.log*"] 
```

要查看模块的完整变量列表，请参阅模块下的文档。

要测试您的配置文件，请更改到安装 Filebeat 二进制文件的目录，并使用指定的以下选项在前台运行 Filebeat：./filebeat test config -e。确保您的配置文件位于 Filebeat 预期的路径（请参阅目录布局），或者使用-c标志指定配置文件的路径。

有关配置 Filebeat 的更多信息，另请参阅

配置 Filebeat
配置文件格式
filebeat.reference.yml：此参考配置文件显示所有非已弃用的选项。您可以在与filebeat.yml相同的位置找到它。

为应用程序日志收集启用并配置 ECS 记录器

编辑

虽然 Filebeat 可用于摄取原始的纯文本应用程序日志，但我们建议在摄取时构建日志结构。这使您可以提取字段，例如日志级别和异常堆栈跟踪。

Elastic 通过在多种流行的编程语言中提供应用程序日志格式化程序来简化此过程。这些插件将您的日志格式化为与 ECS 兼容的 JSON，从而无需手动解析日志。

请参阅ECS 记录器以开始使用。

手动配置 Filebeat

编辑

如果您找不到适合您文件类型的模块，或者无法更改应用程序的日志输出，请参阅手动配置输入。

步骤 4：设置资源

编辑

Filebeat 附带用于解析、索引和可视化数据的预定义资源。要加载这些资源

确保filebeat.yml中指定的用户有权设置 Filebeat。
从安装目录中，运行
```
filebeat setup -e
```
```
filebeat setup -e
```
```
./filebeat setup -e
```
```
./filebeat setup -e
```
```
PS > .\filebeat.exe setup -e
```
-e是可选的，它将输出发送到标准错误而不是配置的日志输出。

此步骤加载写入 Elasticsearch 的推荐索引模板，并部署用于在 Kibana 中可视化数据的示例仪表板。

此步骤不会加载用于解析日志行的摄取管道。默认情况下，在您第一次运行模块并连接到 Elasticsearch 时，会自动设置摄取管道。

需要连接到 Elasticsearch（或 Elasticsearch 服务）才能设置初始环境。如果您使用的是其他输出，例如 Logstash，请参阅

Filebeat 不应用于摄取其自身的日志，因为这可能导致无限循环。

步骤 5：启动 Filebeat

编辑

在启动 Filebeat 之前，请修改filebeat.yml中的用户凭据，并指定有权发布事件的用户。

要启动 Filebeat，请运行

sudo service filebeat start

如果您使用init.d脚本启动 Filebeat，则不能指定命令行标志（请参阅命令参考）。要指定标志，请在前台启动 Filebeat。

另请参阅Filebeat 和 systemd。

sudo service filebeat start

如果您使用init.d脚本启动 Filebeat，则不能指定命令行标志（请参阅命令参考）。要指定标志，请在前台启动 Filebeat。

另请参阅Filebeat 和 systemd。

sudo chown root filebeat.yml 
sudo chown root modules.d/nginx.yml 
sudo ./filebeat -e

您将以 root 用户身份运行 Filebeat，因此您需要更改配置文件和在modules.d目录中启用的任何配置的所有权，或者使用指定的--strict.perms=false运行 Filebeat。请参阅配置文件所有权和权限。

sudo chown root filebeat.yml 
sudo chown root modules.d/nginx.yml 
sudo ./filebeat -e

PS C:\Program Files\filebeat> Start-Service filebeat

默认情况下，Windows 日志文件存储在C:\ProgramData\filebeat\Logs。

Filebeat 应该开始将事件流式传输到 Elasticsearch。

步骤 6：在 Kibana 中查看您的数据

编辑

Filebeat 附带预构建的 Kibana 仪表板和 UI，用于可视化日志数据。您之前在运行setup命令时加载了这些仪表板。

要打开仪表板

启动 Kibana
1. 登录到您的 Elastic Cloud 帐户。
2. 导航到部署中的 Kibana 端点。
将浏览器指向https://127.0.0.1:5601，将localhost替换为 Kibana 主机的名称。
在侧边导航中，单击发现。要查看 Filebeat 数据，请确保选择了预定义的filebeat-*数据视图。

如果您在 Kibana 中没有看到数据，请尝试将时间过滤器更改为更大的范围。默认情况下，Kibana 显示过去 15 分钟的数据。
在侧边导航中，单击仪表板，然后选择您要打开的仪表板。

这些仪表板作为示例提供。我们建议您自定义它们以满足您的需求。

下一步是什么？

编辑

现在您的日志已经流入 Elasticsearch，学习如何统一您的日志、指标、正常运行时间和应用程序性能数据。

通过安装和配置其他 Elastic Beats 来摄取来自其他来源的数据

Elastic Beats 用于捕获

Metricbeat

基础设施指标

Winlogbeat

Windows 事件日志

Heartbeat

正常运行时间信息

APM

应用程序性能指标

Auditbeat

审计事件

Elastic Beats	用于捕获
Metricbeat	基础设施指标
Winlogbeat	Windows 事件日志
Heartbeat	正常运行时间信息
APM	应用程序性能指标
Auditbeat	审计事件

使用 Kibana 中的可观察性应用程序搜索所有数据

Elastic 应用程序	用于
指标应用程序	探索有关您生态系统中系统和服务的指标
日志应用程序	实时跟踪相关的日志数据
正常运行时间应用程序	监控您应用程序和服务的可用性问题
APM 应用程序	监控应用程序性能
SIEM 应用程序	分析安全事件

« Filebeat 概述设置和运行 Filebeat »