- Elasticsearch 指南其他版本
- 8.17 中的新功能
- Elasticsearch 基础
- 快速入门
- 设置 Elasticsearch
- 升级 Elasticsearch
- 索引模块
- 映射
- 文本分析
- 索引模板
- 数据流
- 摄取管道
- 别名
- 搜索您的数据
- 重新排名
- 查询 DSL
- 聚合
- 地理空间分析
- 连接器
- EQL
- ES|QL
- SQL
- 脚本
- 数据管理
- 自动缩放
- 监视集群
- 汇总或转换数据
- 设置高可用性集群
- 快照和还原
- 保护 Elastic Stack 的安全
- Watcher
- 命令行工具
- elasticsearch-certgen
- elasticsearch-certutil
- elasticsearch-create-enrollment-token
- elasticsearch-croneval
- elasticsearch-keystore
- elasticsearch-node
- elasticsearch-reconfigure-node
- elasticsearch-reset-password
- elasticsearch-saml-metadata
- elasticsearch-service-tokens
- elasticsearch-setup-passwords
- elasticsearch-shard
- elasticsearch-syskeygen
- elasticsearch-users
- 优化
- 故障排除
- 修复常见的集群问题
- 诊断未分配的分片
- 向系统中添加丢失的层
- 允许 Elasticsearch 在系统中分配数据
- 允许 Elasticsearch 分配索引
- 索引将索引分配过滤器与数据层节点角色混合,以在数据层之间移动
- 没有足够的节点来分配所有分片副本
- 单个节点上索引的分片总数已超过
- 每个节点的分片总数已达到
- 故障排除损坏
- 修复磁盘空间不足的数据节点
- 修复磁盘空间不足的主节点
- 修复磁盘空间不足的其他角色节点
- 启动索引生命周期管理
- 启动快照生命周期管理
- 从快照恢复
- 故障排除损坏的存储库
- 解决重复的快照策略失败问题
- 故障排除不稳定的集群
- 故障排除发现
- 故障排除监控
- 故障排除转换
- 故障排除 Watcher
- 故障排除搜索
- 故障排除分片容量健康问题
- 故障排除不平衡的集群
- 捕获诊断信息
- REST API
- API 约定
- 通用选项
- REST API 兼容性
- 自动缩放 API
- 行为分析 API
- 紧凑和对齐文本 (CAT) API
- 集群 API
- 跨集群复制 API
- 连接器 API
- 数据流 API
- 文档 API
- 丰富 API
- EQL API
- ES|QL API
- 功能 API
- Fleet API
- 图表探索 API
- 索引 API
- 别名是否存在
- 别名
- 分析
- 分析索引磁盘使用量
- 清除缓存
- 克隆索引
- 关闭索引
- 创建索引
- 创建或更新别名
- 创建或更新组件模板
- 创建或更新索引模板
- 创建或更新索引模板(旧版)
- 删除组件模板
- 删除悬挂索引
- 删除别名
- 删除索引
- 删除索引模板
- 删除索引模板(旧版)
- 存在
- 字段使用情况统计信息
- 刷新
- 强制合并
- 获取别名
- 获取组件模板
- 获取字段映射
- 获取索引
- 获取索引设置
- 获取索引模板
- 获取索引模板(旧版)
- 获取映射
- 导入悬挂索引
- 索引恢复
- 索引段
- 索引分片存储
- 索引统计信息
- 索引模板是否存在(旧版)
- 列出悬挂索引
- 打开索引
- 刷新
- 解析索引
- 解析集群
- 翻转
- 收缩索引
- 模拟索引
- 模拟模板
- 拆分索引
- 解冻索引
- 更新索引设置
- 更新映射
- 索引生命周期管理 API
- 推理 API
- 信息 API
- 摄取 API
- 许可 API
- Logstash API
- 机器学习 API
- 机器学习异常检测 API
- 机器学习数据帧分析 API
- 机器学习训练模型 API
- 迁移 API
- 节点生命周期 API
- 查询规则 API
- 重新加载搜索分析器 API
- 存储库计量 API
- 汇总 API
- 根 API
- 脚本 API
- 搜索 API
- 搜索应用程序 API
- 可搜索快照 API
- 安全 API
- 身份验证
- 更改密码
- 清除缓存
- 清除角色缓存
- 清除权限缓存
- 清除 API 密钥缓存
- 清除服务帐户令牌缓存
- 创建 API 密钥
- 创建或更新应用程序权限
- 创建或更新角色映射
- 创建或更新角色
- 批量创建或更新角色 API
- 批量删除角色 API
- 创建或更新用户
- 创建服务帐户令牌
- 委托 PKI 身份验证
- 删除应用程序权限
- 删除角色映射
- 删除角色
- 删除服务帐户令牌
- 删除用户
- 禁用用户
- 启用用户
- 注册 Kibana
- 注册节点
- 获取 API 密钥信息
- 获取应用程序权限
- 获取内置权限
- 获取角色映射
- 获取角色
- 查询角色
- 获取服务帐户
- 获取服务帐户凭据
- 获取安全设置
- 获取令牌
- 获取用户权限
- 获取用户
- 授予 API 密钥
- 具有权限
- 使 API 密钥失效
- 使令牌失效
- OpenID Connect 准备身份验证
- OpenID Connect 身份验证
- OpenID Connect 注销
- 查询 API 密钥信息
- 查询用户
- 更新 API 密钥
- 更新安全设置
- 批量更新 API 密钥
- SAML 准备身份验证
- SAML 身份验证
- SAML 注销
- SAML 失效
- SAML 完成注销
- SAML 服务提供商元数据
- SSL 证书
- 激活用户配置文件
- 禁用用户配置文件
- 启用用户配置文件
- 获取用户配置文件
- 建议用户配置文件
- 更新用户配置文件数据
- 具有用户配置文件权限
- 创建跨集群 API 密钥
- 更新跨集群 API 密钥
- 快照和还原 API
- 快照生命周期管理 API
- SQL API
- 同义词 API
- 文本结构 API
- 转换 API
- 使用情况 API
- Watcher API
- 定义
- 迁移指南
- 发行说明
- Elasticsearch 版本 8.17.0
- Elasticsearch 版本 8.16.1
- Elasticsearch 版本 8.16.0
- Elasticsearch 版本 8.15.5
- Elasticsearch 版本 8.15.4
- Elasticsearch 版本 8.15.3
- Elasticsearch 版本 8.15.2
- Elasticsearch 版本 8.15.1
- Elasticsearch 版本 8.15.0
- Elasticsearch 版本 8.14.3
- Elasticsearch 版本 8.14.2
- Elasticsearch 版本 8.14.1
- Elasticsearch 版本 8.14.0
- Elasticsearch 版本 8.13.4
- Elasticsearch 版本 8.13.3
- Elasticsearch 版本 8.13.2
- Elasticsearch 版本 8.13.1
- Elasticsearch 版本 8.13.0
- Elasticsearch 版本 8.12.2
- Elasticsearch 版本 8.12.1
- Elasticsearch 版本 8.12.0
- Elasticsearch 版本 8.11.4
- Elasticsearch 版本 8.11.3
- Elasticsearch 版本 8.11.2
- Elasticsearch 版本 8.11.1
- Elasticsearch 版本 8.11.0
- Elasticsearch 版本 8.10.4
- Elasticsearch 版本 8.10.3
- Elasticsearch 版本 8.10.2
- Elasticsearch 版本 8.10.1
- Elasticsearch 版本 8.10.0
- Elasticsearch 版本 8.9.2
- Elasticsearch 版本 8.9.1
- Elasticsearch 版本 8.9.0
- Elasticsearch 版本 8.8.2
- Elasticsearch 版本 8.8.1
- Elasticsearch 版本 8.8.0
- Elasticsearch 版本 8.7.1
- Elasticsearch 版本 8.7.0
- Elasticsearch 版本 8.6.2
- Elasticsearch 版本 8.6.1
- Elasticsearch 版本 8.6.0
- Elasticsearch 版本 8.5.3
- Elasticsearch 版本 8.5.2
- Elasticsearch 版本 8.5.1
- Elasticsearch 版本 8.5.0
- Elasticsearch 版本 8.4.3
- Elasticsearch 版本 8.4.2
- Elasticsearch 版本 8.4.1
- Elasticsearch 版本 8.4.0
- Elasticsearch 版本 8.3.3
- Elasticsearch 版本 8.3.2
- Elasticsearch 版本 8.3.1
- Elasticsearch 版本 8.3.0
- Elasticsearch 版本 8.2.3
- Elasticsearch 版本 8.2.2
- Elasticsearch 版本 8.2.1
- Elasticsearch 版本 8.2.0
- Elasticsearch 版本 8.1.3
- Elasticsearch 版本 8.1.2
- Elasticsearch 版本 8.1.1
- Elasticsearch 版本 8.1.0
- Elasticsearch 版本 8.0.1
- Elasticsearch 版本 8.0.0
- Elasticsearch 版本 8.0.0-rc2
- Elasticsearch 版本 8.0.0-rc1
- Elasticsearch 版本 8.0.0-beta1
- Elasticsearch 版本 8.0.0-alpha2
- Elasticsearch 版本 8.0.0-alpha1
- 依赖项和版本
断路器设置
编辑断路器设置
编辑Elasticsearch 包含多个断路器,用于防止操作使用过多的内存。每个断路器跟踪特定操作使用的内存,并指定其可跟踪的内存量限制。此外,还有一个父级断路器,用于指定所有断路器可跟踪的内存总量。
当断路器达到其限制时,Elasticsearch 将拒绝进一步的操作。有关断路器引发的错误信息,请参阅 断路器错误。
断路器不会跟踪 Elasticsearch 中的所有内存使用情况,因此仅提供不完全的保护以防止过度使用内存。如果 Elasticsearch 使用过多内存,则可能会出现性能问题,并且节点甚至可能因 OutOfMemoryError
而失败。有关解决堆内存使用率过高的问题,请参阅 高 JVM 内存压力。
除非另有说明,否则这些设置可以使用 cluster-update-settings API 在活动的集群上动态更新。
有关断路器错误的信息,请参阅 断路器错误。
父级断路器
编辑可以使用以下设置配置父级断路器
-
indices.breaker.total.use_real_memory
- (静态) 确定父级断路器是否应考虑实际内存使用情况 (
true
) 或仅考虑子断路器保留的内存量 (false
)。默认为true
。
-
indices.breaker.total.limit
- (动态) 整体父级断路器的起始限制。如果
indices.breaker.total.use_real_memory
为false
,则默认为 JVM 堆的 70%。如果indices.breaker.total.use_real_memory
为true
,则默认为 JVM 堆的 95%。
字段数据断路器
编辑字段数据断路器估计将字段加载到 字段数据缓存所需的堆内存。如果加载字段会导致缓存超出预定义的内存限制,则断路器会停止操作并返回错误。
-
indices.breaker.fielddata.limit
- (动态) 字段数据断路器的限制。默认为 JVM 堆的 40%。
-
indices.breaker.fielddata.overhead
- (动态) 所有字段数据估算值都乘以该常量以确定最终估算值。默认为
1.03
。
请求断路器
编辑请求断路器允许 Elasticsearch 防止每个请求的数据结构(例如,请求期间用于计算聚合的内存)超出一定量的内存。
-
indices.breaker.request.limit
- (动态) 请求断路器的限制,默认为 JVM 堆的 60%。
-
indices.breaker.request.overhead
- (动态) 所有请求估算值都乘以该常量以确定最终估算值。默认为
1
。
正在进行中的请求断路器
编辑正在进行中的请求断路器允许 Elasticsearch 限制在节点上通过传输或 HTTP 层的所有当前活动传入请求的内存使用量,使其不超过一定量的内存。内存使用量基于请求本身的内容长度。此断路器还考虑到不仅需要内存来表示原始请求,还需要内存来表示默认开销所反映的结构化对象。
脚本编译断路器
编辑与之前的基于内存的断路器略有不同,脚本编译断路器限制在一段时间内内联脚本编译的数量。
有关更多信息,请参阅 脚本文档的“prefer-parameters”部分。
-
script.max_compilations_rate
- (动态) 允许在特定间隔内编译的唯一动态脚本数量的限制。默认为
150/5m
,表示每 5 分钟 150 个。
如果集群经常达到给定的 max_compilation_rate
,则可能是脚本缓存大小不足,请使用 节点统计检查最近缓存逐出的数量 script.cache_evictions_history
和编译 script.compilations_history
。如果最近有大量缓存逐出或编译,则脚本缓存可能大小不足,请考虑通过设置 script.cache.max_size
将脚本缓存的大小加倍。
正则表达式断路器
编辑编写不佳的正则表达式可能会降低集群的稳定性和性能。正则表达式断路器限制 Painless 脚本中的正则表达式的使用和复杂性。
-
script.painless.regex.enabled
-
(静态) 在 Painless 脚本中启用正则表达式。接受
-
limited
(默认) - 启用正则表达式,但使用
script.painless.regex.limit-factor
集群设置限制复杂性。 -
true
- 启用正则表达式,无复杂性限制。禁用正则表达式断路器。
-
false
- 禁用正则表达式。任何包含正则表达式的 Painless 脚本都会返回错误。
-
-
script.painless.regex.limit-factor
-
(静态) 限制 Painless 脚本中正则表达式可以考虑的字符数。Elasticsearch 通过将设置值乘以脚本输入的字符长度来计算此限制。
例如,输入
foobarbaz
的字符长度为9
。如果script.painless.regex.limit-factor
为6
,则foobarbaz
上的正则表达式最多可以考虑 54 (9 * 6) 个字符。如果表达式超出此限制,则会触发正则表达式断路器并返回错误。仅当
script.painless.regex.enabled
为limited
时,Elasticsearch 才会应用此限制。
EQL 断路器
编辑执行 序列 查询时,处理查询的节点需要在内存中保留一些结构,这些结构是实现序列匹配的算法所必需的。当需要处理大量数据,并且/或者用户请求大量匹配序列时(通过设置 大小 查询参数),这些结构占用的内存可能会超过 JVM 的可用内存。这将导致 OutOfMemory
异常,从而导致节点崩溃。
为了防止这种情况发生,使用了特殊的 断路器,该断路器限制了 序列 查询执行期间的内存分配。当断路器被触发时,会抛出 org.elasticsearch.common.breaker.CircuitBreakingException
,并向用户返回包含 circuit_breaking_exception
的描述性错误消息。
可以使用以下设置配置此 断路器
机器学习断路器
编辑-
breaker.model_inference.limit
- (动态) 训练模型断路器的限制。此值定义为 JVM 堆的百分比。默认为
50%
。如果 父级断路器 设置为小于50%
的值,则此设置将使用该值作为其默认值。 -
breaker.model_inference.overhead
- (动态) 所有训练模型估算值都乘以该常量以确定最终估算值。请参阅 断路器设置。默认为
1
。 -
breaker.model_inference.type
- (静态) 断路器的底层类型。 有两个有效的选项:
noop
和memory
。noop
表示断路器不会采取任何措施来防止内存使用过多。memory
表示断路器会跟踪训练模型使用的内存,并有可能中断和防止OutOfMemory
错误。默认值为memory
。