› › ›

更新数据源 API

编辑

更新数据源 API

编辑

更新数据源的某些属性。

请求

编辑

POST _ml/datafeeds/<feed_id>/_update

先决条件

编辑

需要 manage_ml 集群权限。此权限包含在 machine_learning_admin 内置角色中。

描述

编辑

您只能在数据源停止时更新其属性。但是，可以停止数据源，更新其属性之一，并在不关闭关联作业的情况下重新启动它。

启用 Elasticsearch 安全功能后，您的数据源会记住更新它的用户在更新时拥有的角色，并使用相同的角色运行查询。如果您提供辅助授权标头，则会改用这些凭据。

路径参数

编辑

<feed_id>: (必需，字符串) 唯一标识数据源的数字字符串。此标识符可以包含小写字母数字字符 (a-z 和 0-9)、连字符和下划线。它必须以字母数字字符开头和结尾。

查询参数

编辑

allow_no_indices

(可选，布尔值) 如果为 true，则会忽略解析为无具体索引的通配符索引表达式。这包括 _all 字符串或未指定任何索引的情况。默认为 true。

expand_wildcards

(可选，字符串) 通配符模式可以匹配的索引类型。如果请求可以定向到数据流，则此参数确定通配符表达式是否匹配隐藏的数据流。支持逗号分隔的值，例如 open,hidden。有效值为

all: 匹配任何数据流或索引，包括隐藏的数据流和索引。
open: 匹配打开的、非隐藏的索引。也匹配任何非隐藏的数据流。
closed: 匹配关闭的、非隐藏的索引。也匹配任何非隐藏的数据流。数据流不能关闭。
hidden: 匹配隐藏的数据流和隐藏的索引。必须与 open、closed 或两者结合使用。
none: 不接受通配符模式。

默认为 open。

ignore_throttled

(可选，布尔值) 如果为 true，则冻结时会忽略具体的、展开的或别名的索引。默认为 true。

[7.16.0] 在 7.16.0 中已弃用。

ignore_unavailable

(可选，布尔值) 如果为 true，则会忽略不可用的索引（丢失或关闭）。默认为 false。

请求正文

编辑

以下属性可以在创建数据源后进行更新

aggregations

(可选，对象) 如果设置，数据源将执行聚合搜索。对聚合的支持有限，应仅与低基数数据一起使用。有关详细信息，请参阅聚合数据以获得更快的性能。

chunking_config

(可选，对象) 数据源可能需要在很长的时间段（几个月或几年）内进行搜索。此搜索会分成时间块，以确保管理 Elasticsearch 上的负载。分块配置控制如何计算这些时间块的大小，是一个高级配置选项。

chunking_config 的属性

mode

(字符串) 有三种可用模式

auto：动态计算块大小。这是数据源不使用聚合时的默认值和推荐值。
manual：根据指定的 time_span 应用分块。当数据源使用聚合时，请使用此模式。
off：不应用分块。

time_span

(时间单位) 每个搜索将查询的时间跨度。此设置仅当模式设置为 manual 时适用。例如：3h。

delayed_data_check_config

(可选，对象) 指定数据源是否检查丢失的数据以及窗口的大小。例如：{"enabled": true, "check_window": "1h"}。

数据源可以选择搜索已读取的索引，以确定之后是否已将任何数据添加到索引中。如果发现缺少数据，则很好地表明 query_delay 选项设置得太低，并且数据是在数据源经过该时间点之后索引的。请参阅处理延迟数据。

此检查仅在实时数据源上运行。

delayed_data_check_config 的属性

check_window: (时间单位) 搜索延迟数据的时间窗口。此时间窗口以最新的最终存储桶结束。它默认为 null，这将导致在实时数据源运行时计算出适当的 check_window。特别是，默认的 check_window 跨度计算基于 2h 或 8 * bucket_span 的最大值。
enabled: (布尔值) 指定数据源是否定期检查延迟数据。默认为 true。

frequency

(可选，时间单位) 数据源在实时运行时进行计划查询的间隔。默认值是短存储桶跨度的存储桶跨度，或者是较长存储桶跨度的合理比例。例如：150s。当 frequency 小于存储桶跨度时，将写入最后一个（部分）存储桶的临时结果，然后最终被完整存储桶结果覆盖。如果数据源使用聚合，则此值必须可被日期直方图聚合的间隔整除。

indices

(可选，数组) 索引名称数组。支持通配符。例如：["it_ops_metrics", "server*"]。

如果任何索引位于远程集群中，则机器学习节点需要具有 remote_cluster_client 角色。

indices_options

(可选，对象) 指定搜索期间使用的索引扩展选项。

例如

{
   "expand_wildcards": ["all"],
   "ignore_unavailable": true,
   "allow_no_indices": "false",
   "ignore_throttled": true
}

有关这些选项的详细信息，请参阅多目标语法。

max_empty_searches

(可选，整数) 如果实时数据源从未看到任何数据（包括在任何初始训练期间），那么在返回任何文档的实时搜索次数达到此值后，它将自动停止自身并关闭其关联的作业。换句话说，它将在 frequency 乘以 max_empty_searches 的实时操作之后停止。如果未设置，则没有结束时间且看不到任何数据的的数据源将保持启动状态，直到显式停止为止。默认情况下，未设置此设置。

特殊值 -1 会取消设置此设置。

query

(可选，对象) Elasticsearch 查询领域特定语言 (DSL)。此值对应于 Elasticsearch 搜索 POST 正文中的查询对象。可以使用 Elasticsearch 支持的所有选项，因为此对象按原样传递给 Elasticsearch。默认情况下，此属性具有以下值：{"match_all": {"boost": 1}}。

如果更改查询，则分析的数据也会更改。因此，学习所需的时间可能很长，并且结果的可理解性是不可预测的。如果您想对源数据进行重大更改，我们建议您克隆它并创建第二个包含修改的作业。让两者并行运行，并在您对另一个作业的结果满意时关闭其中一个。

query_delay

(可选，时间单位) 查询数据的时间比实时数据落后多少秒。例如，如果上午 10:04 的数据可能要到上午 10:06 才能在 Elasticsearch 中搜索，请将此属性设置为 120 秒。默认值是在 60s 和 120s 之间随机选择的。当同一节点上运行多个作业时，此随机性可提高查询性能。有关详细信息，请参阅处理延迟数据。

runtime_mappings

(可选，对象) 指定数据源搜索的运行时字段。

例如

{
  "day_of_week": {
    "type": "keyword",
    "script": {
      "source": "emit(doc['@timestamp'].value.dayOfWeekEnum.getDisplayName(TextStyle.FULL, Locale.ENGLISH))"
    }
  }
}

script_fields

(可选，对象) 指定计算自定义表达式并返回数据源的脚本字段的脚本。作业中的检测器配置对象可以包含使用这些脚本字段的函数。有关详细信息，请参阅使用脚本字段转换数据和脚本字段。

scroll_size

(可选，无符号整数) 当数据源不使用聚合时，在 Elasticsearch 搜索中使用的 size 参数。默认值为 1000。最大值是 index.max_result_window 的值，默认情况下为 10,000。

示例

编辑

resp = client.ml.update_datafeed(
    datafeed_id="datafeed-test-job",
    query={
        "term": {
            "geo.src": "US"
        }
    },
)
print(resp)

response = client.ml.update_datafeed(
  datafeed_id: 'datafeed-test-job',
  body: {
    query: {
      term: {
        'geo.src' => 'US'
      }
    }
  }
)
puts response

const response = await client.ml.updateDatafeed({
  datafeed_id: "datafeed-test-job",
  query: {
    term: {
      "geo.src": "US",
    },
  },
});
console.log(response);

POST _ml/datafeeds/datafeed-test-job/_update
{
  "query": {
    "term": {
      "geo.src": "US"
    }
  }
}

更新数据源后，您将收到包含更新值的完整数据源配置

{
  "datafeed_id" : "datafeed-test-job",
  "job_id" : "test-job",
  "authorization" : {
    "roles" : [
      "superuser"
    ]
  },
  "query_delay" : "64489ms",
  "chunking_config" : {
    "mode" : "auto"
  },
  "indices_options" : {
    "expand_wildcards" : [
      "open"
    ],
    "ignore_unavailable" : false,
    "allow_no_indices" : true,
    "ignore_throttled" : true
  },
  "query" : {
    "term" : {
      "geo.src" : "US"
    }
  },
  "indices" : [
    "kibana_sample_data_logs"
  ],
  "scroll_size" : 1000,
  "delayed_data_check_config" : {
    "enabled" : true
  }
}

« 停止数据源 API 更新过滤器 API »