断路器设置
编辑断路器设置编辑
Elasticsearch 包含多个断路器,用于防止操作导致 OutOfMemoryError。每个断路器都指定了其可以使用内存量的限制。此外,还有一个父级断路器,用于指定所有断路器可以使用的内存总量。
除非另有说明,否则可以使用 集群更新设置 API 在活动集群上动态更新这些设置。
有关断路器错误的信息,请参阅 断路器错误。
父级断路器编辑
可以使用以下设置配置父级断路器
-
indices.breaker.total.use_real_memory
- (静态) 确定父级断路器是否应考虑实际内存使用情况(
true
),还是仅考虑子级断路器保留的内存量(false
)。默认为true
。
-
indices.breaker.total.limit
- (动态) 整体父级断路器的起始限制。如果
indices.breaker.total.use_real_memory
为false
,则默认为 JVM 堆的 70%。如果indices.breaker.total.use_real_memory
为true
,则默认为 JVM 堆的 95%。
字段数据断路器编辑
字段数据断路器估计将字段加载到 字段数据缓存 中所需的堆内存。如果加载字段会导致缓存超过预定义的内存限制,则断路器将停止操作并返回错误。
-
indices.breaker.fielddata.limit
- (动态) 字段数据断路器的限制。默认为 JVM 堆的 40%。
-
indices.breaker.fielddata.overhead
- (动态) 所有字段数据估计值都与其相乘的常数,用于确定最终估计值。默认为
1.03
。
请求断路器编辑
请求断路器允许 Elasticsearch 防止每个请求的数据结构(例如,在请求期间用于计算聚合的内存)超过一定数量的内存。
-
indices.breaker.request.limit
- (动态) 请求断路器的限制,默认为 JVM 堆的 60%。
-
indices.breaker.request.overhead
- (动态) 所有请求估计值都与其相乘的常数,用于确定最终估计值。默认为
1
。
进行中请求断路器编辑
进行中请求断路器允许 Elasticsearch 限制节点上所有当前活动的传入请求在传输或 HTTP 级别上的内存使用量,使其不超过一定数量的内存。内存使用量基于请求本身的内容长度。此断路器还考虑到内存不仅需要用于表示原始请求,还需要作为结构化对象,这反映在默认开销中。
脚本编译断路器编辑
与之前的基于内存的断路器略有不同,脚本编译断路器限制了一段时间内内联脚本编译的数量。
有关更多信息,请参阅 脚本 文档的“首选参数”部分。
-
script.max_compilations_rate
- (动态) 允许在特定时间间隔内编译的唯一动态脚本数量的限制。默认为
150/5m
,表示每 5 分钟 150 个。
如果集群定期达到给定的 max_compilation_rate
,则可能是脚本缓存过小,请使用 节点统计信息 检查最近的缓存逐出次数 script.cache_evictions_history
和编译次数 script.compilations_history
。如果最近有大量的缓存逐出或编译,则脚本缓存可能过小,请考虑通过设置 script.cache.max_size
将脚本缓存的大小加倍。
正则表达式断路器编辑
编写不良的正则表达式会降低集群的稳定性和性能。正则表达式断路器限制了 Painless 脚本中正则表达式的使用和复杂性。
-
script.painless.regex.enabled
-
(静态) 启用 Painless 脚本中的正则表达式。接受
-
limited
(默认) - 启用正则表达式,但使用
script.painless.regex.limit-factor
集群设置限制复杂性。 -
true
- 启用正则表达式,没有复杂性限制。禁用正则表达式断路器。
-
false
- 禁用正则表达式。任何包含正则表达式的 Painless 脚本都会返回错误。
-
-
script.painless.regex.limit-factor
-
(静态) 限制 Painless 脚本中的正则表达式可以考虑的字符数。Elasticsearch 通过将设置值乘以脚本输入的字符长度来计算此限制。
例如,输入
foobarbaz
的字符长度为9
。如果script.painless.regex.limit-factor
为6
,则foobarbaz
上的正则表达式最多可以考虑 54 (9 * 6) 个字符。如果表达式超过此限制,则会触发正则表达式断路器并返回错误。仅当
script.painless.regex.enabled
为limited
时,Elasticsearch 才会应用此限制。
EQL 断路器编辑
执行 序列 查询时,处理查询的节点需要在内存中保留一些结构,这些结构是实现序列匹配的算法所需的。当需要处理大量数据和/或用户请求大量匹配序列(通过设置 size 查询参数)时,这些结构占用的内存可能会超过 JVM 的可用内存。这将导致 OutOfMemory
异常,从而导致节点宕机。
为了防止这种情况发生,使用了一个特殊的 断路器,它限制了执行 序列 查询期间的内存分配。当触发断路器时,会抛出 org.elasticsearch.common.breaker.CircuitBreakingException
异常,并向用户返回描述性错误消息。
可以使用以下设置配置此 断路器
机器学习断路器编辑
-
breaker.model_inference.limit
- (动态) 训练模型断路器的限制。此值定义为 JVM 堆的百分比。默认为
50%
。如果 父断路器 设置为小于50%
的值,则此设置将使用该值作为其默认值。 -
breaker.model_inference.overhead
- (动态) 一个常数,所有训练模型估计值都乘以该常数以确定最终估计值。请参阅 断路器设置。默认为
1
。 -
breaker.model_inference.type
- (静态) 断路器的底层类型。有两个有效选项:
noop
和memory
。noop
表示断路器不执行任何操作来防止内存使用过多。memory
表示断路器跟踪训练模型使用的内存,并且可能会中断并防止出现OutOfMemory
错误。默认值为memory
。