连接器同步规则

使用连接器同步规则来帮助控制第三方数据源和 Elasticsearch 之间同步的文档。在 Kibana UI 中为每个连接器索引定义同步规则，位于该索引的 同步规则 选项卡下。

同步规则适用于托管连接器和自管理连接器。

在 Elastic 8.8.0 及更高版本中，所有连接器都支持基本同步规则。

一些连接器支持高级同步规则。请在各个连接器的参考文档中了解更多信息。

有两种类型的同步规则

在讨论同步规则之前，务必先建立对数据过滤概念的基本理解。下图显示数据过滤可能发生在几个不同的过程/位置。

本文档将重点介绍远程和集成过滤。同步规则可用于修改这两者。

数据可能在其源头被过滤。我们称之为远程过滤，因为过滤过程在 Elastic 之外。

集成过滤充当原始数据源和 Elasticsearch 之间的桥梁。在连接器中进行的过滤是集成过滤的一个示例。

最后，Elasticsearch 可以在使用摄取管道持久化之前过滤数据。在本指南中，我们不会重点介绍摄取管道过滤。

在大多数情况下，您的数据湖将包含比您希望向最终用户公开的更多数据。例如，您可能希望搜索产品目录，但不包括供应商联系信息，即使两者出于商业目的而位于同一位置。

过滤数据的最佳时间是在数据管道中的早期。主要有两个原因：

在理想情况下，所有过滤都将作为远程过滤完成。

然而，在实践中，这并不总是可能的。某些源不允许强大的远程过滤。其他源允许，但需要特殊设置（在特定字段上构建索引、调整设置等），这可能需要您组织中其他利益相关者的关注。

考虑到这一点，同步规则旨在修改远程过滤和集成过滤。您的目标应该是尽可能多地进行远程过滤，但集成是一个完全可行的后备方案。根据定义，远程过滤在从第三方源获取数据之前应用。集成过滤在从第三方源获取数据之后应用，但在将其摄取到 Elasticsearch 索引之前应用。

每个基本同步规则可以是两种“策略”之一：include 和 exclude。Include 规则用于包含“匹配”指定条件的文档。Exclude 规则用于排除“匹配”指定条件的文档。

“匹配”是根据由“字段”、“规则”和“值”的组合定义的条件确定的。

应使用 字段 列来定义应考虑给定文档上的哪个字段。

以下规则在 规则 列中可用

最后，值 列取决于

例如，[A-Z]{2} 的值对于 regex 规则可能很有意义，但对于 > 规则则不然。同样，当对 ip_address 字段进行操作时，您可能不会有 espresso 的值，但对于 beverage 字段，您可能会有。

排除所有 ID 字段值大于 1000 的文档。

排除所有 state 字段与指定正则表达式匹配的文档。

下图说明了分页的概念。一个巨大的数据集可能无法放入连接器实例的内存中。将数据分成较小的块可以降低内存不足错误的风险。

此图说明了一次提取整个数据集

相比之下，此图说明了分页数据集

高级同步规则仅用于远程过滤。您可以将高级同步规则视为一种与语言无关的方式来表示对数据源的查询。因此，这些规则是高度特定于源的。

以下连接器支持高级同步规则：

每个支持高级同步规则的连接器都提供了自己的 DSL 来指定规则。有关详细信息，请参阅每个连接器的文档。

您还可以一起使用基本同步规则和高级同步规则来过滤数据集。

下图概述了高级同步规则、基本同步规则和管道过滤应用于您的文档的顺序

在以下示例中，我们要过滤包含公寓的数据集，使其仅包含具有特定属性的公寓。我们将在整个示例中使用基本同步规则和高级同步规则。

一个示例公寓在 .json 格式中如下所示

    {
        "id": 1234,
        "bedrooms": 3,
        "price": 1500,
        "address": {
            "street": "Street 123",
            "government_area": "Area",
            "country_information": {
                "country_code": "PT",
                "country": "Portugal"
    }
  }
}

目标数据集应满足以下条件

前 3 个条件可以通过基本同步规则处理，但我们需要使用高级同步规则来处理第 4 个条件。

要创建新的基本同步规则，请导航到同步规则选项卡并选择起草新的同步规则

之后，您需要按保存并验证草稿按钮来验证这些规则。请注意，保存后，这些规则将处于草稿状态。除非应用它们，否则它们不会在下一次同步中执行。

成功验证后，您可以应用规则，以便它们在下一次同步中执行。

以下条件可以通过基本同步规则覆盖：

您只想包含位于葡萄牙或西班牙的公寓。这里我们需要使用高级同步规则，因为我们正在处理深度嵌套的对象。

假设公寓数据存储在 MongoDB 实例中。对于 MongoDB，我们支持高级同步规则中的聚合管道等功能。一个只选择位于葡萄牙或西班牙的房产的聚合管道如下所示

    [
      {
        "$match": {
             "$or": [
                    {
                      "address.country_information.country": "Portugal"
                    },
                    {
                      "address.country_information.country": "Spain"
                    }
                  ]
                }
      }
    ]

要创建这些高级同步规则，请导航到同步规则创建对话框并选择高级规则选项卡。现在，您可以将聚合管道粘贴到 aggregate.pipeline 下的输入字段中。

验证后，应用这些规则。以下屏幕截图显示了已应用的同步规则，这些规则将在下次同步时执行

成功同步后，您可以展开同步详细信息以查看应用了哪些规则