正在加载

教程：转换电子商务示例数据

Elastic Stack Serverless

转换允许您从 Elasticsearch 索引检索信息，转换信息，并将其存储在另一个索引中。让我们使用 Kibana 示例数据来演示如何使用转换来透视和汇总您的数据。

  1. 验证您的环境是否已正确设置为使用转换。如果启用了 Elasticsearch 安全功能，要完成本教程，您需要一个具有预览和创建转换权限的用户。您还必须具有源索引和目标索引的特定索引权限。请参阅 设置。

  2. 选择您的源索引。

    在本示例中，我们将使用电子商务订单示例数据。如果您还不熟悉 kibana_sample_data_ecommerce 索引，请使用 Kibana 中的 Revenue 仪表板浏览数据。考虑一下您可能想从这个电子商务数据中获得哪些见解。

  3. 选择转换的透视类型，并尝试各种分组和聚合数据的选项。

    有两种类型的转换，但首先我们将尝试透视您的数据，这涉及使用至少一个字段对其进行分组，并应用至少一个聚合。您可以预览转换后的数据的外观，所以请继续尝试！您还可以启用直方图，以更好地了解数据中值的分布。

    例如，您可能希望按产品 ID 对数据进行分组，并计算每个产品的总销售额及其平均价格。或者，您可能希望查看单个客户的行为，并计算每个客户的总支出以及他们购买的不同产品类别数量。或者，您可能希望考虑货币或地理位置。您可以转换和解释此数据的最有趣的方式是什么？

    转到 Kibana 中的 管理 > 堆栈管理 > 数据 > 转换 并使用向导创建转换

    Creating a simple {{transform}} in {{kib}}

    按客户 ID 对数据进行分组，并添加一个或多个聚合，以了解有关每个客户订单的更多信息。例如，让我们计算他们购买的产品总数、购买的总价格、他们在单个订单中购买的最大产品数量以及他们的订单总数。我们将通过使用 sum 聚合在 total_quantity 和 taxless_total_price 字段上，max 聚合在 total_quantity 字段上，以及 cardinality 聚合在 order_id 字段上来完成此操作

    Adding multiple aggregations to a {{transform}} in {{kib}}
    提示

    如果您对数据的子集感兴趣，您可以选择包含一个 query 元素。在本示例中，我们已过滤数据，以便我们只查看 currency 为 EUR 的订单。或者，我们也可以按该字段对数据进行分组。如果您想使用更复杂的查询，您可以从 保存的搜索创建您的数据帧。

    如果您愿意，可以使用 预览转换 API。

    API 示例 
     POST _transform/_preview {
  "source": {
    "index": "kibana_sample_data_ecommerce",
    "query": {
      "bool": {
        "filter": {
          "term": {"currency": "EUR"}
        }
      }
    }
  },
  "pivot": {
    "group_by": {
      "customer_id": {
        "terms": {
          "field": "customer_id"
        }
      }
    },
    "aggregations": {
      "total_quantity.sum": {
        "sum": {
          "field": "total_quantity"
        }
      },
      "taxless_total_price.sum": {
        "sum": {
          "field": "taxless_total_price"
        }
      },
      "total_quantity.max": {
        "max": {
          "field": "total_quantity"
        }
      },
      "order_id.cardinality": {
        "cardinality": {
          "field": "order_id"
        }
      }
    }
  }
}

  4. 当您对预览中看到的内容感到满意时，创建转换。

    1. 提供转换 ID、目标索引的名称以及可选的描述。如果目标索引不存在，则在您启动转换时会自动创建。
    2. 决定您希望转换运行一次还是连续运行。由于此示例数据索引是不变的，因此让我们使用默认行为并仅运行一次转换。但是，如果您想尝试一下，请继续单击 连续模式。您必须选择一个转换可以用来检查哪些实体已更改的字段。一般来说，使用摄取时间戳字段是一个好主意。但是，在本示例中，您可以使用 order_date 字段。
    3. （可选）您可以配置适用于您的转换的保留策略。选择一个日期字段，该字段用于标识目标索引中的旧文档，并提供最大年龄。旧于配置值的文档将从目标索引中删除。
    Adding transfrom ID and retention policy to a {{transform}} in {{kib}}

    在 Kibana 中，在您完成创建转换之前，您可以将预览转换 API 请求复制到您的剪贴板。当您决定是否要手动创建目标索引时，此信息稍后会很有用。

    Copy the Dev Console statement of the transform preview to the clipboard

    如果您愿意，可以使用 创建转换 API。

    API 示例 
     PUT _transform/ecommerce-customer-transform {
  "source": {
    "index": [
      "kibana_sample_data_ecommerce"
    ],
    "query": {
      "bool": {
        "filter": {
          "term": {
            "currency": "EUR"
          }
        }
      }
    }
  },
  "pivot": {
    "group_by": {
      "customer_id": {
        "terms": {
          "field": "customer_id"
        }
      }
    },
    "aggregations": {
      "total_quantity.sum": {
        "sum": {
          "field": "total_quantity"
        }
      },
      "taxless_total_price.sum": {
        "sum": {
          "field": "taxless_total_price"
        }
      },
      "total_quantity.max": {
        "max": {
          "field": "total_quantity"
        }
      },
      "order_id.cardinality": {
        "cardinality": {
          "field": "order_id"
        }
      }
    }
  },
  "dest": {
    "index": "ecommerce-customers"
  },
  "retention_policy": {
    "time": {
      "field": "order_date",
      "max_age": "60d"
    }
  }
}

  5. 可选：创建目标索引。如果目标索引不存在，则在您第一次启动转换时会创建它。透视转换会从源索引和转换聚合中推导出目标索引的映射。如果目标索引中有派生自脚本的字段（例如，如果您使用 scripted_metrics 或 bucket_scripts 聚合），则会使用 动态映射创建它们。您可以使用预览转换 API 来预览它将用于目标索引的映射。在 Kibana 中，如果您将 API 请求复制到剪贴板，请将其粘贴到控制台中，然后参阅 API 响应中的 generated_dest_index 对象。

    注意

    与 Kibana 中可用的选项相比，转换可能具有 API 提供的更多配置选项。例如，您可以通过调用 创建转换来为 dest 设置一个摄取管道。有关所有转换配置选项，请参阅文档。

    API 示例 
    {
  "preview" : [
    {
      "total_quantity" : {
        "max" : 2,
        "sum" : 118.0
      },
      "taxless_total_price" : {
        "sum" : 3946.9765625
      },
      "customer_id" : "10",
      "order_id" : {
        "cardinality" : 59
      }
    },
    ...
  ],
  "generated_dest_index" : {
    "mappings" : {
      "_meta" : {
        "_transform" : {
          "transform" : "transform-preview",
          "version" : {
            "created" : "8.0.0"
          },
          "creation_date_in_millis" : 1621991264061
        },
        "created_by" : "transform"
      },
      "properties" : {
        "total_quantity.sum" : {
          "type" : "double"
        },
        "total_quantity" : {
          "type" : "object"
        },
        "taxless_total_price" : {
          "type" : "object"
        },
        "taxless_total_price.sum" : {
          "type" : "double"
        },
        "order_id.cardinality" : {
          "type" : "long"
        },
        "customer_id" : {
          "type" : "keyword"
        },
        "total_quantity.max" : {
          "type" : "integer"
        },
        "order_id" : {
          "type" : "object"
        }
      }
    },
    "settings" : {
      "index" : {
        "number_of_shards" : "1",
        "auto_expand_replicas" : "0-1"
      }
    },
    "aliases" : { }
  }
}

    在某些情况下，推导出的映射可能与实际数据不兼容。例如，可能会发生数字溢出，或者动态映射的字段可能同时包含数字和字符串。为避免此问题，请在启动转换之前创建您的目标索引。有关更多信息，请参阅 创建索引 API。

    API 示例

    您可以使用来自转换预览的信息来创建目标索引。例如

     PUT /ecommerce-customers {
  "mappings": {
    "properties": {
      "total_quantity.sum" : {
        "type" : "double"
      },
      "total_quantity" : {
        "type" : "object"
      },
      "taxless_total_price" : {
        "type" : "object"
      },
      "taxless_total_price.sum" : {
        "type" : "double"
      },
      "order_id.cardinality" : {
        "type" : "long"
      },
      "customer_id" : {
        "type" : "keyword"
      },
      "total_quantity.max" : {
        "type" : "integer"
      },
      "order_id" : {
        "type" : "object"
      }
    }
  }
}

  6. 启动转换。

    提示

    即使资源利用率会根据集群负载自动调整，转换也会在运行时增加集群上的搜索和索引负载。但是，如果您遇到过多的负载，您可以停止它。

    您可以在 Kibana 中启动、停止、重置和管理转换

    Managing {{transforms}} in {{kib}}

    或者，您可以使用启动转换、停止转换和重置转换 API。

    如果您重置转换，所有检查点、状态和目标索引（如果由转换创建）都将被删除。 转换已准备好再次启动，就像刚刚创建一样。

    API 示例 
     POST _transform/ecommerce-customer-transform/_start
    提示

    如果您选择了批量转换，它是一个单一操作，只有一个检查点。 完成后无法重新启动。 连续转换的不同之处在于，它们会随着新源数据的摄入而不断递增和处理检查点。

  7. 浏览新索引中的数据。 例如，在 Kibana 中使用 Discover 应用程序

    Exploring the new index in {{kib}}

  8. 可选：创建另一个转换，这次使用 latest 方法。 此方法使用每个唯一键值的最新文档填充目标索引。 例如，您可能想要查找每个客户或每个国家和地区的最新订单（按 order_date 字段排序）。

    Creating a latest {{transform}} in {{kib}}
    API 示例 
     POST _transform/_preview {
  "source": {
    "index": "kibana_sample_data_ecommerce",
    "query": {
      "bool": {
        "filter": {
          "term": {"currency": "EUR"}
        }
      }
    }
  },
  "latest": {
    "unique_key": ["geoip.country_iso_code", "geoip.region_name"],
    "sort": "order_date"
  }
}
    提示

    如果目标索引不存在，则会在您第一次启动转换时创建它。 但是，与透视转换不同，最新的转换在创建索引时不会推断映射定义。 而是使用动态映射。 要使用显式映射，请在启动转换之前创建目标索引。

  9. 如果您不想保留转换，可以在 Kibana 中将其删除，或者使用 删除转换 API。 默认情况下，删除转换时，其目标索引和 Kibana 索引模式仍然存在。

现在您已经为 Kibana 示例数据创建了简单的转换，请考虑您自己数据可能的用例。 有关更多想法，请参阅 何时使用转换 和 示例。

© . All rights reserved.