检测地理数据中的异常位置

Elastic Stack Serverless

如果您的数据包含地理字段，您可以使用机器学习功能来检测异常行为，例如在不寻常位置发生的信用卡交易或具有不寻常源位置的 Web 请求。

前提条件

要运行这种类型的异常检测作业，您必须设置机器学习功能。您还必须具有包含空间数据类型的时间序列数据。特别是，您必须具有

两个逗号分隔的数字，格式为 latitude,longitude，
一个 geo_point 字段，
一个包含点值的 geo_shape 字段，或
一个 geo_centroid 聚合

纬度和经度必须在 -180 到 180 的范围内，并表示地球表面上的一个点。

此示例使用示例 eCommerce 订单和示例 Web 日志数据集。有关更多信息，请参见添加示例数据。

探索您的地理数据

要从机器学习分析获得最佳结果，您必须了解您的数据。您可以为此使用 Machine Learning 应用中的 Data Visualizer。搜索特定的字段或字段类型，例如示例数据集中的 geo-point 字段。您可以查看在特定时间段和样本大小内有多少文档包含这些字段。您还可以看到不同值的数量、示例值列表，并在地图上预览它们。例如

$A screenshot of a geo_point field in {{data-viz}}$

创建异常检测作业

在创建这种类型的作业之前，需要考虑一些限制

您无法为包含地理功能的异常检测作业创建预测。
您无法将带有条件的自定义规则添加到使用地理功能的检测器。

如果这些限制可以接受，请尝试创建一个使用 lat_long 函数来分析您自己的数据或示例数据集的异常检测作业。

要创建使用 lat_long 函数的异常检测作业，您必须在 Kibana 中单击 Machine learning > Anomaly detection > Jobs 页面上的 Create job，然后选择高级作业向导。或者，使用创建异常检测作业 API。

例如，创建一个分析示例 eCommerce 订单数据集的作业，以查找相对于每个客户 (user ID) 过去行为的具有不寻常坐标 (geoip.location 值) 的订单

A screenshot of creating an {{anomaly-job}} using the eCommerce data in {{kib}}

		 PUT _ml/anomaly_detectors/ecommerce-geo <1> {
  "analysis_config" : {
    "bucket_span":"15m",
    "detectors": [
      {
        "detector_description": "Unusual coordinates by user",
        "function": "lat_long",
        "field_name": "geoip.location",
        "by_field_name": "user"
      }
    ],
    "influencers": [
      "geoip.country_iso_code",
      "day_of_week",
      "category.keyword"
      ]
  },
  "data_description" : {
    "time_field": "order_date"
  },
  "datafeed_config":{
    "datafeed_id": "datafeed-ecommerce-geo",
    "indices": ["kibana_sample_data_ecommerce"],
    "query": {
      "bool": {
        "must": [
          {
            "match_all": {}
          }
        ]
      }
    }
  }
}

POST _ml/anomaly_detectors/ecommerce-geo/_open

POST _ml/datafeeds/datafeed-ecommerce-geo/_start
{
  "end": "2022-03-22T23:00:00Z"
}

	

创建异常检测作业。
创建数据馈送。
打开作业。
启动数据馈送。由于示例数据集通常包含晚于当前日期的时标，因此最好为数据馈送指定适当的结束日期。

或者，创建一个分析示例 Web 日志数据集以检测具有不寻常坐标 (geo.coordinates 值) 或异常高的传输数据总和 (bytes 值) 的事件的作业

A screenshot of creating an {{anomaly-job}} using the web logs data in {{kib}}

		 PUT _ml/anomaly_detectors/weblogs-geo <1> {
  "analysis_config" : {
    "bucket_span":"15m",
    "detectors": [
      {
        "detector_description": "Unusual coordinates",
        "function": "lat_long",
        "field_name": "geo.coordinates"
      },
      {
        "function": "high_sum",
        "field_name": "bytes"
      }
    ],
    "influencers": [
      "geo.src",
      "extension.keyword",
      "geo.dest"
    ]
  },
  "data_description" : {
    "time_field": "timestamp",
     "time_format": "epoch_ms"
  },
  "datafeed_config":{
    "datafeed_id": "datafeed-weblogs-geo",
    "indices": ["kibana_sample_data_logs"],
    "query": {
      "bool": {
        "must": [
          {
            "match_all": {}
          }
        ]
      }
    }
  }
}

POST _ml/anomaly_detectors/weblogs-geo/_open

POST _ml/datafeeds/datafeed-weblogs-geo/_start
{
  "end": "2022-04-15T22:00:00Z"
}

	