Elastic MongoDB 连接器参考

此连接器在 Elastic 版本 8.5.0 及更高版本中作为托管连接器提供。

要在 Elastic Cloud 中本地使用此连接器，请满足所有托管连接器要求。

此连接器与 MongoDB Atlas 和 MongoDB 3.6 及更高版本兼容。

数据源和您的 Elastic 部署必须能够通过网络相互通信。

每次创建要由此连接器管理的索引时，您都将创建一个新的连接器配置。您将需要有关数据源的部分或全部以下信息。

要创建新的 MongoDB 连接器

有关其他操作，请参阅Kibana 中的连接器 UI。

您可以使用 Elasticsearch 创建连接器 API来创建新的原生 MongoDB 连接器。

例如

resp = client.connector.put(
    connector_id="my-{service-name-stub}-connector",
    index_name="my-elasticsearch-index",
    name="Content synced from {service-name}",
    service_type="{service-name-stub}",
    is_native=True,
)
print(resp)

const response = await client.connector.put({
  connector_id: "my-{service-name-stub}-connector",
  index_name: "my-elasticsearch-index",
  name: "Content synced from {service-name}",
  service_type: "{service-name-stub}",
  is_native: true,
});
console.log(response);

PUT _connector/my-mongodb-connector
{
  "index_name": "my-elasticsearch-index",
  "name": "Content synced from MongoDB",
  "service_type": "mongodb",
  "is_native": true
}

有关所有可用的连接器 API 的详细信息，请参阅 Elasticsearch API 文档。

要将此连接器用作托管连接器，请使用连接器工作流程。请参阅Elastic 托管连接器。

有关其他操作，请参阅Kibana 中的连接器 UI。

此连接器有一个示例。请参阅托管连接器教程 (MongoDB)。

无法在聚合管道内使用像 new Date() 这样的表达式。这些表达式不会由底层 MongoDB 客户端评估，而是作为字符串传递到 MongoDB 实例。一种可能的解决方法是使用聚合变量。

不正确（new Date() 将被解释为字符串）

{
    "aggregate": {
        "pipeline": [
            {
                "$match": {
                  "expiresAt": {
                    "$gte": "new Date()"
                  }
                }
            }
        ]
    }
}

正确（使用 $$NOW）

{
  "aggregate": {
    "pipeline": [
      {
        "$addFields": {
          "current_date": {
            "$toDate": "$$NOW"
          }
        }
      },
      {
        "$match": {
          "$expr": {
            "$gte": [
              "$expiresAt",
              "$current_date"
            ]
          }
        }
      }
    ]
  }
}

目前，MongoDB 连接器在连接到自托管的 MongoDB 主机时不支持使用自签名或自定义 CA 证书。

这可以在开发环境中通过将某些查询参数附加到配置的主机来解决。

例如，如果您的主机是 mongodb+srv://my.mongo.host.com，则附加 ?tls=true&tlsAllowInvalidCertificates=true 将允许禁用 TLS 证书验证。

此示例中的完整主机将如下所示

mongodb+srv://my.mongo.host.com/?tls=true&tlsAllowInvalidCertificates=true

有关影响所有连接器的任何问题，请参阅已知问题。

请参阅故障排除。

请参阅安全性。

以下描述了此连接器的默认同步行为。使用同步规则和采集管道来自定义特定索引的同步。

将提取配置的 MongoDB 数据库和集合中的所有文档，并将其转换为 Elasticsearch 索引中的文档。

这会生成与原始 MongoDB 文档非常匹配的 Elasticsearch 文档。

当创建第一个文档时，会创建 Elasticsearch 映射。

每次同步都是“完全”同步。对于发现的每个 MongoDB 文档

这是递归的，因为嵌入式文档本身可以包含嵌入式文档。

以下各节描述了此连接器的同步规则。

基本同步规则对于所有连接器都是相同的，并且默认可用。

MongoDB 的高级规则可用于表示 find 查询或聚合管道。它们还可用于调整发出这些查询/管道时可用的选项。

对于 find 查询，此 JSON DSL 的结构应如下所示

{
	"find":{
		"filter": {
			// find query goes here
		},
		"options":{
			// query options go here
		}
	}
}

例如

{
	"find": {
		"filter": {
			"$text": {
				"$search": "garden",
				"$caseSensitive": false
			}
		},
		"skip": 10,
		"limit": 1000
	}
}

find 查询还支持其他选项，例如 projection 对象

{
  "find": {
    "filter": {
      "languages": [
        "English"
      ],
      "runtime": {
        "$gt":90
      }
    },
    "projection":{
      "tomatoes": 1
    }
  }
}

可用选项包括

类似地，对于聚合管道，JSON DSL 的结构应如下所示

{
	"aggregate":{
		"pipeline": [
			// pipeline elements go here
		],
		"options": {
            // pipeline options go here
		}
    }
}

可用选项包括

作为 8.8.0 版本的一部分，MongoDB 连接器已从 Ruby 连接器框架 迁移到 Elastic 连接器框架。

此更改对从 MongoDB 摄取的数据引入了微小的格式修改

如果您的 MongoDB 连接器在从 8.7.x 迁移到 8.8.x 后停止工作，请阅读 已知问题 中概述的解决方法。如果该方法不起作用，我们建议删除附加到此连接器的搜索索引，然后从头开始重新创建 MongoDB 连接器。

此连接器还可作为 Elastic 连接器框架 中的 自管理连接器 提供。要将此连接器用作自管理连接器，请满足所有 自管理连接器要求。

此连接器与 MongoDB Atlas 和 MongoDB 3.6 及更高版本兼容。

数据源和您的 Elastic 部署必须能够通过网络相互通信。

以下配置字段是设置连接器所必需的

要创建新的 MongoDB 连接器

您可以使用 Elasticsearch 创建连接器 API 来创建新的自管理 MongoDB 自管理连接器。

例如

resp = client.connector.put(
    connector_id="my-{service-name-stub}-connector",
    index_name="my-elasticsearch-index",
    name="Content synced from {service-name}",
    service_type="{service-name-stub}",
)
print(resp)

const response = await client.connector.put({
  connector_id: "my-{service-name-stub}-connector",
  index_name: "my-elasticsearch-index",
  name: "Content synced from {service-name}",
  service_type: "{service-name-stub}",
});
console.log(response);

PUT _connector/my-mongodb-connector
{
  "index_name": "my-elasticsearch-index",
  "name": "Content synced from MongoDB",
  "service_type": "mongodb"
}

有关所有可用的连接器 API 的详细信息，请参阅 Elasticsearch API 文档。

要将此连接器用作 自管理连接器，请参阅 自管理连接器。有关其他使用操作，请参阅 Kibana 中的连接器 UI。

此连接器有一个示例。请参阅托管连接器教程 (MongoDB)。

无法在聚合管道内使用像 new Date() 这样的表达式。这些表达式不会由底层 MongoDB 客户端评估，而是作为字符串传递到 MongoDB 实例。一种可能的解决方法是使用聚合变量。

不正确（new Date() 将被解释为字符串）

{
    "aggregate": {
        "pipeline": [
            {
                "$match": {
                  "expiresAt": {
                    "$gte": "new Date()"
                  }
                }
            }
        ]
    }
}

正确（使用 $$NOW）

{
  "aggregate": {
    "pipeline": [
      {
        "$addFields": {
          "current_date": {
            "$toDate": "$$NOW"
          }
        }
      },
      {
        "$match": {
          "$expr": {
            "$gte": [
              "$expiresAt",
              "$current_date"
            ]
          }
        }
      }
    ]
  }
}

目前，MongoDB 连接器在连接到自托管的 MongoDB 主机时不支持使用自签名或自定义 CA 证书。

这可以在开发环境中通过将某些查询参数附加到配置的主机来解决。

例如，如果您的主机是 mongodb+srv://my.mongo.host.com，则附加 ?tls=true&tlsAllowInvalidCertificates=true 将允许禁用 TLS 证书验证。

此示例中的完整主机将如下所示

mongodb+srv://my.mongo.host.com/?tls=true&tlsAllowInvalidCertificates=true

在 8.12.0 中引入的错误会导致连接器 Docker 镜像在使用 MongoDB 作为其源运行时出错。命令行将输出错误 cannot import name 'coroutine' from 'asyncio'。此问题已在版本 8.12.2 和 8.13.0 中修复。 此错误不会影响 Elastic 管理的连接器。

有关影响所有连接器的任何问题，请参阅已知问题。

请参阅故障排除。

请参阅安全性。

您可以使用 Docker 将 MongoDB 连接器部署为自管理连接器。请按照以下说明进行操作。

curl https://raw.githubusercontent.com/elastic/connectors/main/config.yml.example --output ~/connectors-config/config.yml

# When connecting to your cloud deployment you should edit the host value
elasticsearch.host: http://host.docker.internal:9200
elasticsearch.api_key: <ELASTICSEARCH_API_KEY>

connectors:
  -
    connector_id: <CONNECTOR_ID_FROM_KIBANA>
    service_type: mongodb
    api_key: <CONNECTOR_API_KEY_FROM_KIBANA> # Optional. If not provided, the connector will use the elasticsearch.api_key instead

docker run \
-v ~/connectors-config:/config \
--network "elastic" \
--tty \
--rm \
docker.elastic.co/enterprise-search/elastic-connectors:8.17.0.0 \
/app/bin/elastic-ingest \
-c /config/config.yml

有关更多详细信息，请参阅 elastic/connectors 存储库中的 DOCKER.md。

在 官方注册表 中查找所有可用的 Docker 镜像。

以下描述了此连接器的默认同步行为。使用同步规则和采集管道来自定义特定索引的同步。

将提取配置的 MongoDB 数据库和集合中的所有文档，并将其转换为 Elasticsearch 索引中的文档。

这会生成与原始 MongoDB 文档非常匹配的 Elasticsearch 文档。

当创建第一个文档时，会创建 Elasticsearch 映射。

每次同步都是“完全”同步。对于发现的每个 MongoDB 文档

这是递归的，因为嵌入式文档本身可以包含嵌入式文档。

以下各节描述了此连接器的同步规则。

基本同步规则对于所有连接器都是相同的，并且默认可用。

MongoDB 的高级规则可用于表示 find 查询或聚合管道。它们还可用于调整发出这些查询/管道时可用的选项。

对于 find 查询，此 JSON DSL 的结构应如下所示

{
	"find":{
		"filter": {
			// find query goes here
		},
		"options":{
			// query options go here
		}
	}
}

例如

{
	"find": {
		"filter": {
			"$text": {
				"$search": "garden",
				"$caseSensitive": false
			}
		},
		"skip": 10,
		"limit": 1000
	}
}

find 查询还支持其他选项，例如 projection 对象

{
  "find": {
    "filter": {
      "languages": [
        "English"
      ],
      "runtime": {
        "$gt":90
      }
    },
    "projection":{
      "tomatoes": 1
    }
  }
}

可用选项包括

类似地，对于聚合管道，JSON DSL 的结构应如下所示

{
	"aggregate":{
		"pipeline": [
			// pipeline elements go here
		],
		"options": {
            // pipeline options go here
		}
    }
}

可用选项包括

作为 8.8.0 版本的一部分，MongoDB 连接器已从 Ruby 连接器框架 迁移到 Elastic 连接器框架。

此更改对从 MongoDB 摄取的数据引入了微小的格式修改

如果您的 MongoDB 连接器在从 8.7.x 迁移到 8.8.x 后停止工作，请阅读 已知问题 中概述的解决方法。如果该方法不起作用，我们建议删除附加到此连接器的搜索索引，然后从头开始重新创建 MongoDB 连接器。