更新数据馈送 API
编辑更新数据馈送 API编辑
更新数据馈送的某些属性。
请求编辑
POST _ml/datafeeds/<feed_id>/_update
先决条件编辑
需要 manage_ml
集群权限。此权限包含在 machine_learning_admin
内置角色中。
描述编辑
您只能在数据馈送停止时更新其属性。但是,可以停止数据馈送,更新其属性之一,然后重新启动它,而无需关闭关联的作业。
启用 Elasticsearch 安全功能后,您的数据馈送会记住更新它的用户在更新时的角色,并使用相同的角色运行查询。如果您提供 辅助授权标头,则将使用这些凭据。
路径参数编辑
-
<feed_id>
- (必填,字符串)唯一标识数据馈送的数字字符字符串。此标识符可以包含小写字母数字字符(a-z 和 0-9)、连字符和下划线。它必须以字母数字字符开头和结尾。
查询参数编辑
-
allow_no_indices
- (可选,布尔值)如果为
true
,则忽略解析为无具体索引的通配符索引表达式。这包括_all
字符串或未指定索引的情况。默认为true
。 -
expand_wildcards
-
(可选,字符串)通配符模式可以匹配的索引类型。如果请求可以定位数据流,则此参数确定通配符表达式是否匹配隐藏数据流。支持逗号分隔的值,例如
open,hidden
。有效值为-
all
- 匹配任何数据流或索引,包括 隐藏的 数据流或索引。
-
open
- 匹配打开的、非隐藏的索引。也匹配任何非隐藏的数据流。
-
closed
- 匹配关闭的、非隐藏的索引。也匹配任何非隐藏的数据流。数据流不能关闭。
-
hidden
- 匹配隐藏的数据流和隐藏的索引。必须与
open
、closed
或两者结合使用。 -
none
- 不接受通配符模式。
默认为
open
。 -
-
ignore_throttled
-
(可选,布尔值)如果为
true
,则在冻结时忽略具体的、扩展的或别名的索引。默认为true
。[7.16.0] 已弃用于 7.16.0。
-
ignore_unavailable
- (可选,布尔值)如果为
true
,则忽略不可用的索引(丢失或关闭)。默认为false
。
请求正文编辑
创建数据馈送后,可以更新以下属性
-
aggregations
- (可选,对象)如果设置,则数据馈送执行聚合搜索。对聚合的支持有限,并且应该仅用于低基数数据。有关更多信息,请参阅 聚合数据以提高性能。
-
chunking_config
-
(可选,对象)数据馈送可能需要搜索很长一段时间,例如几个月或几年。此搜索被拆分为时间块,以确保 Elasticsearch 上的负载得到管理。分块配置控制如何计算这些时间块的大小,并且是一个高级配置选项。
chunking_config
的属性-
mode
-
(字符串)有三种可用模式
-
auto
:动态计算块大小。这是数据馈送不使用聚合时的默认值和建议值。 -
manual
:根据指定的time_span
应用分块。当数据馈送使用聚合时,请使用此模式。 -
off
:不应用分块。
-
-
time_span
- (时间单位)每次搜索将查询的时间跨度。此设置仅在模式设置为
manual
时适用。例如:3h
。
-
-
delayed_data_check_config
-
(可选,对象)指定数据馈送是否检查丢失的数据以及窗口的大小。例如:
{"enabled": true, "check_window": "1h"}
。数据馈送可以选择搜索已读取的索引,以确定是否有任何数据随后添加到索引中。如果发现数据丢失,则表明
query_delay
选项设置得太低,并且数据在数据馈送经过该时间点后才被索引。请参阅 处理延迟数据。此检查仅在实时数据馈送上运行。
delayed_data_check_config
的属性-
check_window
- (时间单位)搜索延迟数据的時間窗口。此时间窗口以最新的最终确定存储桶结束。它默认为
null
,这会导致在实时数据馈送运行时计算适当的check_window
。特别是,默认的check_window
跨度计算基于2h
或8 * bucket_span
中的最大值。 -
enabled
- (布尔值)指定数据馈送是否定期检查延迟数据。默认为
true
。
-
-
frequency
- (可选,时间单位)数据馈送实时运行时进行计划查询的间隔。默认值是短存储桶跨度的存储桶跨度,或者对于较长的存储桶跨度,是存储桶跨度的合理分数。例如:
150s
。当frequency
短于存储桶跨度时,将写入最后一个(部分)存储桶的中间结果,然后最终被完整的存储桶结果覆盖。如果数据馈送使用聚合,则此值必须可以被日期直方图聚合的间隔整除。 -
indices
-
(可选,数组)索引名称数组。支持通配符。例如:
["it_ops_metrics", "server*"]
。如果任何索引位于远程集群中,则机器学习节点需要具有
remote_cluster_client
角色。 -
indices_options
-
(可选,对象)指定在搜索期间使用的索引扩展选项。
例如
{ "expand_wildcards": ["all"], "ignore_unavailable": true, "allow_no_indices": "false", "ignore_throttled": true }
有关这些选项的更多信息,请参阅 多目标语法。
-
max_empty_searches
-
(可选,整数)如果实时数据馈送从未见过任何数据(包括在任何初始训练期间),那么在返回无文档的多次实时搜索后,它将自动停止自身并关闭其关联的作业。换句话说,它将在
frequency
乘以max_empty_searches
次实时操作后停止。如果未设置,则没有结束时间且看不到数据的 datafeed 将保持启动状态,直到显式停止。默认情况下,不设置此设置。特殊值
-1
取消设置此设置。 -
query
-
(可选,对象)Elasticsearch 查询领域特定语言 (DSL)。此值对应于 Elasticsearch 搜索 POST 正文中的查询对象。Elasticsearch 支持的所有选项都可以使用,因为此对象会逐字传递给 Elasticsearch。默认情况下,此属性具有以下值:
{"match_all": {"boost": 1}}
。如果更改查询,则分析的数据也会更改。因此,所需的学习时间可能会很长,并且结果的可理解性是不可预测的。如果要对源数据进行重大更改,我们建议您克隆它并创建包含修订的第二个作业。让两者并行运行,并在您对另一个作业的结果满意时关闭一个。
-
query_delay
- (可选,时间单位)查询数据落后于实时的时间(以秒为单位)。例如,如果 10:04 a.m. 的数据在 10:06 a.m. 之前可能无法在 Elasticsearch 中搜索到,请将此属性设置为 120 秒。默认值是在
60s
和120s
之间随机选择的。当同一节点上运行多个作业时,这种随机性可以提高查询性能。有关更多信息,请参阅 处理延迟数据。 -
runtime_mappings
-
(可选,对象)指定数据馈送搜索的运行时字段。
例如
{ "day_of_week": { "type": "keyword", "script": { "source": "emit(doc['@timestamp'].value.dayOfWeekEnum.getDisplayName(TextStyle.FULL, Locale.ROOT))" } } }
-
script_fields
- (可选,对象)指定用于评估自定义表达式并将脚本字段返回到数据馈送的脚本。作业中的检测器配置对象可以包含使用这些脚本字段的函数。有关更多信息,请参阅 使用脚本字段转换数据 和 脚本字段。
-
scroll_size
- (可选,无符号整数)数据馈送不使用聚合时,在 Elasticsearch 搜索中使用的
size
参数。默认值为1000
。最大值为index.max_result_window
的值,默认值为 10,000。
示例编辑
response = client.ml.update_datafeed( datafeed_id: 'datafeed-test-job', body: { query: { term: { 'geo.src' => 'US' } } } ) puts response
POST _ml/datafeeds/datafeed-test-job/_update { "query": { "term": { "geo.src": "US" } } }
数据馈送更新后,您将收到包含更新值的完整数据馈送配置。
{ "datafeed_id" : "datafeed-test-job", "job_id" : "test-job", "authorization" : { "roles" : [ "superuser" ] }, "query_delay" : "64489ms", "chunking_config" : { "mode" : "auto" }, "indices_options" : { "expand_wildcards" : [ "open" ], "ignore_unavailable" : false, "allow_no_indices" : true, "ignore_throttled" : true }, "query" : { "term" : { "geo.src" : "US" } }, "indices" : [ "kibana_sample_data_logs" ], "scroll_size" : 1000, "delayed_data_check_config" : { "enabled" : true } }