加载 Elasticsearch 索引模板
编辑加载 Elasticsearch 索引模板编辑
Elasticsearch 使用 索引模板 来定义
- 控制数据流和后备索引行为的设置。这些设置包括用于在后备索引增长和老化时管理它们的的生命周期策略。
- 确定如何分析字段的映射。每个映射都设置了用于特定数据字段的 Elasticsearch 数据类型。
Filebeat 的推荐索引模板文件由 Filebeat 软件包安装。如果您接受 filebeat.yml
配置文件中的默认配置,Filebeat 会在成功连接到 Elasticsearch 后自动加载模板。如果模板已经存在,则不会覆盖它,除非您将 Filebeat 配置为这样做。
加载索引模板需要连接到 Elasticsearch。如果输出不是 Elasticsearch(或 Elasticsearch Service),则必须 手动加载模板。
此页面显示如何更改默认模板加载行为以
有关模板设置选项的完整列表,请参阅 Elasticsearch 索引模板。
加载您自己的索引模板编辑
要加载您自己的索引模板,请设置以下选项
setup.template.name: "your_template_name" setup.template.fields: "path/to/fields.yml"
如果模板已经存在,则不会覆盖它,除非您将 Filebeat 配置为这样做。
您可以加载数据流和索引的模板。
覆盖现有索引模板编辑
不要为多个 Filebeat 实例启用此选项。如果您同时启动多个实例,它可能会用过多的模板更新请求使 Elasticsearch 过载。
要覆盖已加载到 Elasticsearch 中的模板,请设置
setup.template.overwrite: true
禁用自动索引模板加载编辑
如果您使用 Elasticsearch 以外的输出并且需要手动加载模板,则可能需要禁用自动模板加载。要禁用自动模板加载,请设置
setup.template.enabled: false
如果您禁用自动模板加载,则必须手动加载索引模板。
手动加载索引模板编辑
要手动加载索引模板,请运行 setup
命令。需要连接到 Elasticsearch。如果启用了另一个输出,则需要使用 -E
选项临时禁用该输出并启用 Elasticsearch。此处的示例假设已启用 Logstash 输出。如果已启用 Elasticsearch 输出,则可以省略 -E
标志。
如果您要连接到安全的 Elasticsearch 集群,请确保已按照 快速入门:安装和配置 中的说明配置了凭据。
如果运行 Filebeat 的主机没有到 Elasticsearch 的直接连接,请参阅 手动加载索引模板(备用方法)。
要加载模板,请使用适合您系统的命令。
deb 和 rpm
filebeat setup --index-management -E output.logstash.enabled=false -E 'output.elasticsearch.hosts=["localhost:9200"]'
mac
./filebeat setup --index-management -E output.logstash.enabled=false -E 'output.elasticsearch.hosts=["localhost:9200"]'
linux
./filebeat setup --index-management -E output.logstash.enabled=false -E 'output.elasticsearch.hosts=["localhost:9200"]'
docker
docker run docker.elastic.co/beats/filebeat:8.14.3 setup --index-management -E output.logstash.enabled=false -E 'output.elasticsearch.hosts=["localhost:9200"]'
win
以管理员身份打开 PowerShell 提示符(右键单击 PowerShell 图标并选择 以管理员身份运行)。
在 PowerShell 提示符下,切换到您安装 Filebeat 的目录,然后运行
PS > .\filebeat.exe setup --index-management -E output.logstash.enabled=false -E 'output.elasticsearch.hosts=["localhost:9200"]'
强制 Kibana 查看最新文档编辑
如果您已经使用 Filebeat 将数据索引到 Elasticsearch,则索引可能包含旧文档。加载索引模板后,您可以从 filebeat-*
中删除旧文档,以强制 Kibana 查看最新文档。
使用此命令
deb 和 rpm
curl -XDELETE 'https://127.0.0.1:9200/filebeat-*'
mac
curl -XDELETE 'https://127.0.0.1:9200/filebeat-*'
linux
curl -XDELETE 'https://127.0.0.1:9200/filebeat-*'
win
PS > Invoke-RestMethod -Method Delete "https://127.0.0.1:9200/filebeat-*"
此命令将删除与模式 filebeat
匹配的所有索引。在运行此命令之前,请确保您要删除与该模式匹配的所有索引。
手动加载索引模板(备用方法)编辑
如果运行 Filebeat 的主机没有到 Elasticsearch 的直接连接,您可以将索引模板导出到文件,将其移动到具有连接的机器,然后手动安装模板。
要导出索引模板,请运行
deb 和 rpm
filebeat export template > filebeat.template.json
mac
./filebeat export template > filebeat.template.json
linux
./filebeat export template > filebeat.template.json
win
PS > .\filebeat.exe export template --es.version 8.14.3 | Out-File -Encoding UTF8 filebeat.template.json
要安装模板,请运行
deb 和 rpm
curl -XPUT -H 'Content-Type: application/json' https://127.0.0.1:9200/_index_template/filebeat-8.14.3 [email protected]
mac
curl -XPUT -H 'Content-Type: application/json' https://127.0.0.1:9200/_index_template/filebeat-8.14.3 [email protected]
linux
curl -XPUT -H 'Content-Type: application/json' https://127.0.0.1:9200/_index_template/filebeat-8.14.3 [email protected]
win
PS > Invoke-RestMethod -Method Put -ContentType "application/json" -InFile filebeat.template.json -Uri https://127.0.0.1:9200/_index_template/filebeat-8.14.3
加载索引模板后,还要加载数据流。如果不加载,则必须授予发布者用户对 filebeat-8.14.3 索引的 manage
权限。
deb 和 rpm
curl -XPUT https://127.0.0.1:9200/_data_stream/filebeat-8.14.3
mac
curl -XPUT https://127.0.0.1:9200/_data_stream/filebeat-8.14.3
linux
curl -XPUT https://127.0.0.1:9200/_data_stream/filebeat-8.14.3
win
PS > Invoke-RestMethod -Method Put -Uri https://127.0.0.1:9200/_data_stream/filebeat-8.14.3