断路器设置

编辑

Elasticsearch 包含多个断路器,用于防止操作使用过多的内存。每个断路器跟踪特定操作使用的内存,并指定其可跟踪的内存量限制。此外,还有一个父级断路器,用于指定所有断路器可跟踪的内存总量。

当断路器达到其限制时,Elasticsearch 将拒绝进一步的操作。有关断路器引发的错误信息,请参阅 断路器错误

断路器不会跟踪 Elasticsearch 中的所有内存使用情况,因此仅提供不完全的保护以防止过度使用内存。如果 Elasticsearch 使用过多内存,则可能会出现性能问题,并且节点甚至可能因 OutOfMemoryError 而失败。有关解决堆内存使用率过高的问题,请参阅 高 JVM 内存压力

除非另有说明,否则这些设置可以使用 cluster-update-settings API 在活动的集群上动态更新。

有关断路器错误的信息,请参阅 断路器错误

父级断路器

编辑

可以使用以下设置配置父级断路器

indices.breaker.total.use_real_memory
(静态) 确定父级断路器是否应考虑实际内存使用情况 (true) 或仅考虑子断路器保留的内存量 (false)。默认为 true
indices.breaker.total.limit logo cloud
(动态) 整体父级断路器的起始限制。如果 indices.breaker.total.use_real_memoryfalse,则默认为 JVM 堆的 70%。如果 indices.breaker.total.use_real_memorytrue,则默认为 JVM 堆的 95%。

字段数据断路器

编辑

字段数据断路器估计将字段加载到 字段数据缓存所需的堆内存。如果加载字段会导致缓存超出预定义的内存限制,则断路器会停止操作并返回错误。

indices.breaker.fielddata.limit logo cloud
(动态) 字段数据断路器的限制。默认为 JVM 堆的 40%。
indices.breaker.fielddata.overhead logo cloud
(动态) 所有字段数据估算值都乘以该常量以确定最终估算值。默认为 1.03

请求断路器

编辑

请求断路器允许 Elasticsearch 防止每个请求的数据结构(例如,请求期间用于计算聚合的内存)超出一定量的内存。

indices.breaker.request.limit logo cloud
(动态) 请求断路器的限制,默认为 JVM 堆的 60%。
indices.breaker.request.overhead logo cloud
(动态) 所有请求估算值都乘以该常量以确定最终估算值。默认为 1

正在进行中的请求断路器

编辑

正在进行中的请求断路器允许 Elasticsearch 限制在节点上通过传输或 HTTP 层的所有当前活动传入请求的内存使用量,使其不超过一定量的内存。内存使用量基于请求本身的内容长度。此断路器还考虑到不仅需要内存来表示原始请求,还需要内存来表示默认开销所反映的结构化对象。

network.breaker.inflight_requests.limit
(动态) 正在进行中的请求断路器的限制,默认为 JVM 堆的 100%。这意味着它受为父级断路器配置的限制约束。
network.breaker.inflight_requests.overhead
(动态) 所有正在进行中的请求估算值都乘以该常量以确定最终估算值。默认为 2。

脚本编译断路器

编辑

与之前的基于内存的断路器略有不同,脚本编译断路器限制在一段时间内内联脚本编译的数量。

有关更多信息,请参阅 脚本文档的“prefer-parameters”部分。

script.max_compilations_rate
(动态) 允许在特定间隔内编译的唯一动态脚本数量的限制。默认为 150/5m,表示每 5 分钟 150 个。

如果集群经常达到给定的 max_compilation_rate,则可能是脚本缓存大小不足,请使用 节点统计检查最近缓存逐出的数量 script.cache_evictions_history 和编译 script.compilations_history。如果最近有大量缓存逐出或编译,则脚本缓存可能大小不足,请考虑通过设置 script.cache.max_size 将脚本缓存的大小加倍。

正则表达式断路器

编辑

编写不佳的正则表达式可能会降低集群的稳定性和性能。正则表达式断路器限制 Painless 脚本中的正则表达式的使用和复杂性。

script.painless.regex.enabled

(静态) 在 Painless 脚本中启用正则表达式。接受

limited(默认)
启用正则表达式,但使用 script.painless.regex.limit-factor 集群设置限制复杂性。
true
启用正则表达式,无复杂性限制。禁用正则表达式断路器。
false
禁用正则表达式。任何包含正则表达式的 Painless 脚本都会返回错误。
script.painless.regex.limit-factor

(静态) 限制 Painless 脚本中正则表达式可以考虑的字符数。Elasticsearch 通过将设置值乘以脚本输入的字符长度来计算此限制。

例如,输入 foobarbaz 的字符长度为 9。如果 script.painless.regex.limit-factor6,则 foobarbaz 上的正则表达式最多可以考虑 54 (9 * 6) 个字符。如果表达式超出此限制,则会触发正则表达式断路器并返回错误。

仅当 script.painless.regex.enabledlimited 时,Elasticsearch 才会应用此限制。

EQL 断路器

编辑

执行 序列 查询时,处理查询的节点需要在内存中保留一些结构,这些结构是实现序列匹配的算法所必需的。当需要处理大量数据,并且/或者用户请求大量匹配序列时(通过设置 大小 查询参数),这些结构占用的内存可能会超过 JVM 的可用内存。这将导致 OutOfMemory 异常,从而导致节点崩溃。

为了防止这种情况发生,使用了特殊的 断路器,该断路器限制了 序列 查询执行期间的内存分配。当断路器被触发时,会抛出 org.elasticsearch.common.breaker.CircuitBreakingException,并向用户返回包含 circuit_breaking_exception 的描述性错误消息。

可以使用以下设置配置此 断路器

breaker.eql_sequence.limit
(动态) 用于限制 EQL 序列查询执行期间内存利用率的断路器的限制。此值定义为 JVM 堆的百分比。默认为 50%。如果 父级断路器 设置为小于 50% 的值,则此设置将使用该值作为其默认值。
breaker.eql_sequence.overhead
(动态) 序列查询内存估算值乘以该常量以确定最终估算值。默认为 1
breaker.eql_sequence.type

(静态) 断路器类型。有效值包括

memory(默认)
断路器限制 EQL 序列查询的内存使用量。
noop
禁用断路器。

机器学习断路器

编辑
breaker.model_inference.limit
(动态) 训练模型断路器的限制。此值定义为 JVM 堆的百分比。默认为 50%。如果 父级断路器 设置为小于 50% 的值,则此设置将使用该值作为其默认值。
breaker.model_inference.overhead
(动态) 所有训练模型估算值都乘以该常量以确定最终估算值。请参阅 断路器设置。默认为 1
breaker.model_inference.type
(静态) 断路器的底层类型。 有两个有效的选项:noopmemorynoop 表示断路器不会采取任何措施来防止内存使用过多。memory 表示断路器会跟踪训练模型使用的内存,并有可能中断和防止 OutOfMemory 错误。默认值为 memory