Kibana 中的连接器 UI

编辑

本文档介绍使用 UI 可对托管连接器自管理连接器执行的操作。

在 Kibana UI 中,从主菜单导航至搜索 > 内容 > 连接器,或使用全局搜索字段。在这里,您可以查看所有连接器和同步作业的摘要,并创建新的连接器。

在 8.12 中,我们引入了一组连接器 API 来创建和管理 Elastic 连接器和同步作业,以及一个CLI 工具。如果您想以编程方式处理连接器和同步作业,而无需使用 UI,请使用这些工具。

创建和配置连接器

编辑

您的连接器将数据写入 Elasticsearch 索引。

要创建托管连接器或自管理自管理连接器,请使用搜索 > 内容 > 连接器下的按钮。选择要同步的数据源类型后,系统将提示您创建 Elasticsearch 索引。

管理连接器索引

编辑

查看和管理由连接器管理的所有 Elasticsearch 索引。

在 Kibana UI 中,从主菜单导航至搜索 > 内容 > 连接器,或使用全局搜索字段。在这里,您可以查看连接器索引及其属性的列表,包括连接器类型的运行状况和摄取状态。

在此界面中,您可以选择查看每个现有索引的详细信息或删除索引。或者,您可以创建新的连接器索引

这些操作需要访问 Kibana 和额外的索引权限。

自定义连接器索引映射和设置

编辑

Elasticsearch 将您的数据作为文档存储在索引中。每个索引都由一组字段组成,每个字段都有一个类型(例如 keywordbooleandate)。

映射是定义如何存储和索引文档及其包含的字段的过程。连接器使用动态映射来根据从源获取的数据自动创建映射。

索引设置是可以在每个索引基础上调整的配置。它们控制索引的性能、它使用的资源以及它应该如何处理操作等。

当您使用连接器创建索引时,将使用默认的搜索优化字段模板映射和索引设置创建索引。然后,根据从源获取的数据动态创建特定字段的映射。

您可以通过以下方式检查索引映射

  • 在 Kibana UI 中:导航至 搜索 > 内容 > 索引 > 您的索引 > 索引映射
  • 通过 API:使用Get mapping API

您可以手动编辑通过 Elasticsearch API 编辑映射和设置

请务必注意,当索引已包含数据时,这些更新会更加复杂。

有关详细信息,请参阅以下部分。

在同步数据之前自定义映射和设置

编辑

当您的索引没有数据时,更新映射和设置会更简单。如果您在设置连接器时创建并附加一个索引,则可以使用前面提到的 API 在同步数据之前自定义映射和设置。

在同步数据后自定义映射和设置

编辑

一旦使用动态映射将数据添加到 Elasticsearch,您就无法直接更新现有的字段映射。如果您已将数据同步到索引中,并且想要更改映射,则需要重新索引您的数据

这些更新的工作流程如下

  1. 创建具有所需映射和设置的新索引。
  2. 重新索引您的数据从旧索引到这个新索引。
  3. 删除旧索引。
  4. (可选)如果您想保留旧索引名称,请使用别名
  5. 将您的连接器附加到新索引或别名。

管理定期同步

编辑

在创建要由连接器管理的索引后,您可以配置自动的定期同步。

在 Kibana UI 中,从主菜单导航至搜索 > 内容 > 连接器,或使用全局搜索字段

选择要配置的索引,然后选择计划选项卡。

在此界面中,您可以启用或禁用计划的

  1. 完整内容同步
  2. 增量内容同步(如果支持)
  3. 访问控制同步(如果支持)

启用后,您还可以管理同步计划。

此操作需要访问 Kibana 和 .elastic-connectors 索引的 write 索引权限

或者,您可以同步一次

在启用定期同步或同步一次后,第一次同步将开始。(连接器服务开始第一次同步之前可能会有短暂的延迟。)您可能需要查看索引详细信息以查看状态或错误,或查看已同步的文档

同步一次

编辑

在创建要由连接器管理的索引后,您可以随时请求单次同步。

在 Kibana UI 中,从主菜单导航至搜索 > 内容 > Elasticsearch 索引,或使用全局搜索字段

然后选择要同步的索引。

无论哪个选项卡处于活动状态,同步按钮始终显示在右上角。选择此按钮以显示同步选项

  1. 完整内容
  2. 增量内容(如果支持)
  3. 访问控制(如果支持)

选择其中一个选项以请求同步。(连接器服务开始同步之前可能会有短暂的延迟。)

此操作需要访问 Kibana 和 .elastic-connectors 索引的 write 索引权限

取消同步

编辑

在同步开始后,您可以取消同步,然后再完成。

在 Kibana UI 中,从主菜单导航至搜索 > 内容 > Elasticsearch 索引,或使用全局搜索字段

然后选择正在运行同步的索引。

无论哪个选项卡处于活动状态,同步按钮始终显示在右上角。选择此按钮以显示同步选项,然后选择取消同步以取消活动的同步。这将取消正在运行的作业,并将所有待处理暂停的作业标记为已取消。(连接器服务取消同步之前可能会有短暂的延迟。)

此操作需要访问 Kibana 和 .elastic-connectors.elastic-connectors-sync-jobs 索引的 write 索引权限

查看状态

编辑

查看索引详细信息以查看各种信息,这些信息传达索引和连接器的状态。

在 Kibana UI 中,从主菜单导航至搜索 > 内容 > Elasticsearch 索引,或使用全局搜索字段

然后选择要查看的索引。

概述选项卡提供了各种信息,包括

  • 有关连接器索引的一般信息,例如:名称、描述、摄取类型、连接器类型和语言分析器。
  • 任何影响连接器或同步过程的错误。
  • 当前的摄取状态(有关可能的值,请参见下文)。
  • 当前的文档计数。

摄取状态的可能值

  • 不完整 - 尚未配置的连接器。
  • 已配置 - 已配置的连接器。
  • 已连接 - 可以成功连接到数据源的连接器。
  • 错误 - 无法连接到数据源的连接器。
  • 连接器故障 - 超过 30 分钟未看到任何更新的连接器。
  • 同步故障 - 上次同步作业失败的连接器。

此选项卡还显示最近的同步历史记录,包括同步状态(有关可能的值,请参见下文)。

同步状态的可能值

  • 同步待处理 - 初始作业状态,作业待选取。
  • 同步进行中 - 作业正在运行。
  • 正在取消同步 - 已请求取消作业。
  • 同步已取消 - 作业已取消
  • 同步已暂停 - 由于服务关闭,作业已暂停,并且可以在服务重新启动时恢复。
  • 同步完成 - 作业已成功完成。
  • 同步失败 - 作业失败。

对于每次同步,选择 查看 按钮以显示作业详细信息,包括

  • 作业 ID
  • 文档统计信息,包括:添加/删除的文档数、文档总数和添加的文档量
  • 事件日志
  • 请求同步时处于活动状态的同步规则
  • 请求同步时处于活动状态的管道

此操作需要访问 Kibana 以及 .elastic-connectors 索引的 read 索引权限

查看文档

编辑

查看连接器从数据源同步的文档。此外,查看索引映射以确定当前文档模式。

在 Kibana UI 中,从主菜单导航至搜索 > 内容 > Elasticsearch 索引,或使用全局搜索字段

然后选择要查看的索引。

选择文档选项卡以查看同步的文档。选择索引映射选项卡以查看连接器创建的索引映射。

在设置新连接器时,请确保您从数据源中获取了您期望的文档和字段。如果不是,请参阅故障排除以获取帮助。

这些操作需要访问 Kibana 以及包含文档的索引的 readmanage 索引权限

有关安全详细信息,请参阅安全性

管理同步规则

编辑

使用同步规则来限制从数据源获取的文档,或限制存储在 Elastic 中的已获取文档。

在 Kibana UI 中,从主菜单导航至搜索 > 内容 > Elasticsearch 索引,或使用全局搜索字段

然后选择要管理的索引,并选择同步规则选项卡。

管理摄取管道

编辑

使用摄取管道在将获取的数据存储到 Elastic 之前对其进行转换。

在 Kibana UI 中,从主菜单导航至搜索 > 内容 > Elasticsearch 索引,或使用全局搜索字段

然后选择要管理的索引,并选择管道选项卡。