« Elastic 连接器框架：构建和自定义连接器 连接器 API »
Elastic 文档 ›Elasticsearch 指南 [8.16] ›使用 Elastic 连接器摄取内容

Kibana 中的连接器 UI

编辑

Kibana 中的连接器 UI

编辑

本文档介绍了使用 UI 可对 托管连接器 和 自托管连接器 执行的操作。

在 Kibana UI 中，从主菜单导航到 搜索 > 内容 > 连接器，或使用 全局搜索字段。在这里，您可以查看所有连接器和同步作业的摘要，并创建新的连接器。

在 8.12 版本中，我们引入了一组 连接器 API 来创建和管理 Elastic 连接器和同步作业，以及一个 CLI 工具。如果您希望以编程方式使用连接器和同步作业，而不使用 UI，可以使用这些工具。

创建和配置连接器

编辑

您的连接器将数据写入 Elasticsearch 索引。

要创建 托管连接器 或自托管 自托管连接器，请使用 搜索 > 内容 > 连接器 下的按钮。选择要同步的数据源类型后，系统会提示您创建一个 Elasticsearch 索引。

管理连接器索引

编辑

查看和管理连接器管理的所有 Elasticsearch 索引。

在 Kibana UI 中，从主菜单导航到 搜索 > 内容 > 连接器，或使用 全局搜索字段。在这里，您可以查看连接器索引及其属性的列表，包括连接器类型健康状况和摄取状态。

在此界面中，您可以选择查看每个现有索引的详细信息或删除索引。或者，您可以 创建新的连接器索引。

这些操作需要访问 Kibana 和其他索引权限。

自定义连接器索引映射和设置

编辑

Elasticsearch 将您的数据作为文档存储在索引中。每个索引都由一组字段组成，每个字段都有一个类型（例如 keyword、boolean 或 date）。

映射 是定义如何存储和索引文档及其包含的字段的过程。连接器使用 动态映射 根据从源获取的数据自动创建映射。

索引 设置 是可以在每个索引的基础上调整的配置。它们控制诸如索引的性能、它使用的资源以及它应该如何处理操作等方面。

当您使用连接器创建索引时，索引将使用默认的搜索优化字段模板映射和索引设置创建。然后，根据从源获取的数据动态创建特定字段的映射。

您可以通过以下方式检查索引映射

  • 在 Kibana UI 中：导航到 搜索 > 内容 > 索引 > YOUR-INDEX > 索引映射
  • 通过 API：使用 获取映射 API

您可以通过 Elasticsearch API 手动 编辑 映射和设置

需要注意的是，当索引已包含数据时，这些更新会更加复杂。

有关更多信息，请参阅以下部分。

在同步数据之前自定义映射和设置

编辑

当索引没有数据时，更新映射和设置会更简单。如果您在设置连接器时创建并附加新索引，则可以使用前面提到的 API 在同步数据之前自定义映射和设置。

同步数据后自定义映射和设置

编辑

使用动态映射将数据添加到 Elasticsearch 后，您无法直接更新现有字段映射。如果您已将数据同步到索引中并希望更改映射，则需要 重新索引您的数据。

这些更新的工作流程如下

  1. 使用所需的映射和设置 创建 新索引。
  2. 将数据从旧索引 重新索引 到此新索引。
  3. 删除旧索引。
  4. (可选) 使用 别名，如果您想保留旧索引名称。
  5. 将您的连接器附加到新索引或别名。

管理定期同步

编辑

在创建要由连接器管理的索引后，您可以配置自动的定期同步。

在 Kibana UI 中，从主菜单导航到 搜索 > 内容 > 连接器，或使用 全局搜索字段。

选择要配置的索引，然后选择 调度 选项卡。

在此界面中，您可以启用或禁用计划的

  1. 完整内容同步
  2. 增量内容同步（如果支持）
  3. 访问控制同步（如果支持）

启用后，您还可以管理同步计划。

此操作需要访问 Kibana 和 .elastic-connectors 索引的 write 索引权限。

或者，您可以 同步一次。

启用定期同步或同步一次后，第一次同步将开始。（连接器服务开始第一次同步之前可能会有短暂延迟。）您可能希望 查看索引详细信息 以查看状态或错误，或 查看已同步的文档。

同步一次

编辑

在创建要由连接器管理的索引后，您可以随时请求一次性同步。

在 Kibana UI 中，从主菜单导航到 搜索 > 内容 > Elasticsearch 索引，或使用 全局搜索字段。

然后选择要同步的索引。

无论哪个选项卡处于活动状态，同步 按钮始终在右上方可见。选择此按钮以显示同步选项

  1. 完整内容
  2. 增量内容（如果支持）
  3. 访问控制（如果支持）

选择其中一个选项以请求同步。（连接器服务开始同步之前可能会有短暂延迟。）

此操作需要访问 Kibana 和 .elastic-connectors 索引的 write 索引权限。

取消同步

编辑

同步开始后，您可以在其完成之前取消同步。

在 Kibana UI 中，从主菜单导航到 搜索 > 内容 > Elasticsearch 索引，或使用 全局搜索字段。

然后选择具有正在运行的同步的索引。

无论哪个选项卡处于活动状态，同步 按钮始终在右上方可见。选择此按钮以显示同步选项，然后选择 取消同步 以取消活动同步。这将取消正在运行的作业，并将所有挂起和暂停的作业标记为已取消。（连接器服务取消同步之前可能会有短暂延迟。）

此操作需要访问 Kibana 和 .elastic-connectors 和 .elastic-connectors-sync-jobs 索引的 write 索引权限。

查看状态

编辑

查看索引详细信息以查看各种信息，这些信息传达索引和连接器的状态。

在 Kibana UI 中，从主菜单导航到 搜索 > 内容 > Elasticsearch 索引，或使用 全局搜索字段。

然后选择要查看的索引。

概述 选项卡显示各种信息，包括

  • 有关连接器索引的一般信息，例如：名称、描述、摄取类型、连接器类型和语言分析器。
  • 影响连接器或同步过程的任何错误。
  • 当前的摄取状态（有关可能的值，请参见下文）。
  • 当前文档数量。

摄取状态的可能值

  • 不完整 - 尚未配置的连接器。
  • 已配置 - 已配置的连接器。
  • 已连接 - 可以成功连接到数据源的连接器。
  • 错误 - 无法连接到数据源的连接器。
  • 连接器故障 - 30 分钟内未收到任何更新的连接器。
  • 同步失败 - 在上次同步作业中失败的连接器。

此选项卡还显示最近的同步历史记录，包括同步状态（有关可能的值，请参见下文）。

同步状态的可能值

  • 同步待定 - 初始作业状态，作业等待被获取。
  • 同步进行中 - 作业正在运行。
  • 取消同步 - 已请求取消作业。
  • 同步已取消 - 作业已取消。
  • 同步已暂停 - 作业由于服务关闭而暂停，并在服务重新启动时可以恢复。
  • 同步完成 - 作业已成功完成。
  • 同步失败 - 作业失败。

对于每次同步，选择view按钮以显示作业详细信息，包括

  • 作业 ID
  • 文档统计信息，包括：添加/删除的文档数量、文档总数以及添加的文档容量
  • 事件日志
  • 请求同步时处于活动状态的同步规则
  • 请求同步时处于活动状态的管道

此操作需要访问 Kibana 和.elastic-connectors索引的read 索引权限。

查看文档

编辑

查看连接器从数据中同步的文档。此外，查看索引映射以确定当前的文档架构。

在 Kibana UI 中，从主菜单导航到 搜索 > 内容 > Elasticsearch 索引，或使用 全局搜索字段。

然后选择要查看的索引。

选择文档选项卡以查看同步的文档。选择索引映射选项卡以查看连接器创建的索引映射。

在设置新的连接器时，请确保您从数据源获取了预期的文档和字段。如果没有，请参阅故障排除以获取帮助。

这些操作需要访问 Kibana 和包含文档的索引的read和manage 索引权限。

有关安全详细信息，请参阅安全。

管理同步规则

编辑

使用同步规则来限制从数据源获取哪些文档，或限制哪些获取的文档存储在 Elastic 中。

在 Kibana UI 中，从主菜单导航到 搜索 > 内容 > Elasticsearch 索引，或使用 全局搜索字段。

然后选择要管理的索引并选择同步规则选项卡。

管理摄取管道

编辑

使用摄取管道在将获取的数据存储到 Elastic 之前对其进行转换。

在 Kibana UI 中，从主菜单导航到 搜索 > 内容 > Elasticsearch 索引，或使用 全局搜索字段。

然后选择要管理的索引并选择管道选项卡。

« Elastic 连接器框架：构建和自定义连接器 连接器 API »