MongoDB 托管连接器教程
编辑MongoDB 托管连接器教程
编辑本教程介绍如何设置从 MongoDB 数据库到 Elastic Cloud 上搜索优化索引的自动、持续同步。我们将使用 Atlas 部署以及本教程中的内置示例数据集,但您也可以使用自己的数据。
本教程是以下内容的示例:
- 如何使用与 MongoDB Atlas 和本地 MongoDB 服务器兼容的 MongoDB 连接器。请参阅 兼容性。
- 如何使用任何可作为 托管连接器 的连接器。本教程中的工作流程适用于所有 Elastic 托管连接器。
本教程分为三个主要部分:
-
设置 MongoDB Atlas:首先,您需要启动并运行 MongoDB Atlas。(如果您已经拥有要使用的 MongoDB 实例,请跳过此步骤。)
- 您将创建一个免费帐户,设置一个免费的 Atlas 集群,并加载一些示例数据。
- 收集有关 MongoDB 实例的详细信息 完成后,您需要收集有关 Atlas 集群的一些详细信息,以便将其连接到 Elastic Cloud 部署。
-
设置 Elastic Cloud:接下来,您需要启动并运行 Elastic Cloud。
- 然后,您需要创建一个 Elasticsearch 索引,并配置 Elastic 连接器以与您的 Atlas 集群连接。我们将在 Kibana UI 中完成所有这些操作。
- 配置完成后,您将设置一个同步计划,以开始将 MongoDB 数据索引到 Elasticsearch 中,并确保其保持最新状态。
设置 MongoDB Atlas
编辑按照 MongoDB 文档中的步骤 创建一个免费的 Atlas 帐户
- 创建并部署一个免费的 Atlas 集群。
- 在 安全 > 网络访问 下,添加对
0.0.0.0/0
的 IP 访问。此 CIDR 表示法允许来自任何 IP 地址的连接。这使运行在 Elastic Cloud 上的 Elastic 连接器能够访问 Atlas。有关完整说明,请参阅 Atlas 文档。 - 使用用户名和密码组合创建一个 数据库用户。在 安全 > 数据库访问 中选择 添加新的数据库用户。请将这些详细信息放在手边,因为稍后您需要它们来配置连接器。
将示例数据加载到 Atlas 中
编辑在此示例中,我们将使用 MongoDB Atlas 提供的示例数据。您可以在 MongoDB Atlas UI 中执行此操作。
在 Atlas UI 中的 数据库部署 下,使用 加载示例数据集 按钮。通过选择集群名称旁边的 "…" 按钮找到此按钮。
有关详细说明,请参阅 Atlas 文档。
在 Atlas UI 中浏览示例数据
编辑加载完成后,您可以通过选择数据库部署的 浏览集合 按钮在 Atlas UI 中查看示例数据。确认示例数据库已添加到您的数据库部署中。
在此示例中,我们将使用 sample_mflix
数据集,其中包含有关电影和电影院的数据。该数据库包含某些元数据的集合,包括用户和对特定电影的评论。在此示例中,我们将重点关注 comments
集合。每个文档都包含一个评论以及评论者的姓名和电子邮件地址等信息。
comments
集合中的示例 MongoDB 文档稍后,一旦连接器将 MongoDB 文档转换为 Elasticsearch 文档,您就可以比较它们的结构。
我们已将数据添加到 MongoDB Atlas 集群中,现在我们需要配置 Elastic MongoDB 连接器。
收集有关 MongoDB 实例的详细信息
编辑在切换到在 Elastic Cloud 中工作之前,我们需要收集有关 MongoDB Atlas 集群的一些详细信息。我们需要这些详细信息来配置 Elastic MongoDB 连接器。您可以在 Atlas UI 中找到这些详细信息。
找到以下详细信息:
-
主机:MongoDB Atlas 集群的 URI。它应类似于
mongodb+srv://<your-cluster-name>.hjksqfc.mongodb.net
。通过在 MongoDB Atlas UI 中连接到集群找到此 URI。- 查找此 URI 的一种方法是选择 使用 MongoDB Shell 连接 并从 CLI 指令中复制连接字符串。
-
数据库:您要同步的数据库的名称。在此示例中,我们将使用
sample_mflix
数据库。 -
集合:您要同步的集合的名称。在此示例中,我们将使用
sample_mflix
数据库的comments
集合。 - 用户名:您在设置阶段创建的用户名。
- 密码:您之前创建的密码。
请将这些详细信息放在手边!
设置 Elastic Cloud
编辑MongoDB Atlas 中已完成所有设置,我们拥有配置 Elastic MongoDB 连接器所需的详细信息。首先,我们需要启动并运行 Elastic Cloud 部署。
创建 Elastic Cloud 部署
编辑此步骤适用于 Elastic Cloud 的新用户。如果您的团队已拥有 Elastic Cloud 部署,请跳过此步骤。
登录到 Elastic Cloud,并使用 UI 创建一个部署。您需要运行 8.5.0+ 或更高版本。
有关完整详细信息,请阅读 Elastic 托管连接器的先决条件。
创建部署后,导航到 搜索。
创建 Elasticsearch 索引
编辑Elastic 连接器会将您的 MongoDB 数据同步到搜索优化的 Elasticsearch 索引中。第一步是在 Kibana UI 中创建索引。
在主菜单中,导航到 搜索 > 内容 > 索引,或使用全局搜索字段。
按照以下步骤创建索引
- 选择 创建 Elasticsearch 索引。
- 选择 连接器 作为您的提取方法。
- 选择 MongoDB 连接器类型。
- 为新索引命名,例如
search-mongo-sample
,然后保存。这将您带到索引概览页面的 配置 选项卡。
接下来,我们需要输入 Atlas 详细信息以配置连接器。
配置 MongoDB 连接器
编辑使用之前收集的详细信息,配置 MongoDB 连接器。在 配置 步骤下输入详细信息。
对于此示例,将 直接连接 选项设置为 false
。您必须为 MongoDB Atlas 启用 SSL/TLS,因此请打开 SSL/TLS 连接 选项。
输入这些详细信息后,选择 保存配置。
开始同步
编辑配置 MongoDB 连接器后,就可以计划同步了。
UI 会将您带到索引概览页面的 计划 选项卡。在此示例中,我们将计划定期同步,该同步将在每天午夜运行。
在 计划 选项卡中
- 切换 启用以下计划的定期同步。
- 选择 频率,“每天”。
- 选择 时间,“在”
00:00
。 - 保存此同步计划。
保存同步计划后,连接器将开始将 MongoDB Atlas 数据同步到 Elasticsearch 中。
验证文档
编辑我们的参考文档解释了如何提取 MongoDB 数据库和集合中的文档,并将其转换为 Elasticsearch 索引中的文档。
如果所有配置详细信息均正确,则同步将开始,并且文档将开始显示在 Elasticsearch 索引中。
同步第一个文档后,您可以查看文档并检查索引的映射
- 在 Kibana 中,从主菜单导航到 搜索 > 内容 > 索引,或使用全局搜索字段。
- 选择您的索引,例如
search-mongo-sample
。 - 选择 文档 选项卡以查看同步的文档。展开文档以查看其字段。
了解更多信息
编辑- 有关连接器的详细信息,包括同步规则的工作方式,请参阅Elastic MongoDB 连接器参考文档。
- 有关所有 Elastic 托管连接器的概述,请参阅Elastic 托管连接器。
- 了解 Elastic 托管连接器的同步规则。
- 了解搜索索引的摄取管道
- 有关 MongoDB 特定问题,请参阅官方MongoDB Atlas 文档。