- Elasticsearch 指南其他版本
- 8.17 中的新功能
- Elasticsearch 基础
- 快速入门
- 设置 Elasticsearch
- 升级 Elasticsearch
- 索引模块
- 映射
- 文本分析
- 索引模板
- 数据流
- 摄取管道
- 别名
- 搜索您的数据
- 重新排名
- 查询 DSL
- 聚合
- 地理空间分析
- 连接器
- EQL
- ES|QL
- SQL
- 脚本
- 数据管理
- 自动缩放
- 监视集群
- 汇总或转换数据
- 设置高可用性集群
- 快照和还原
- 保护 Elastic Stack 的安全
- Watcher
- 命令行工具
- elasticsearch-certgen
- elasticsearch-certutil
- elasticsearch-create-enrollment-token
- elasticsearch-croneval
- elasticsearch-keystore
- elasticsearch-node
- elasticsearch-reconfigure-node
- elasticsearch-reset-password
- elasticsearch-saml-metadata
- elasticsearch-service-tokens
- elasticsearch-setup-passwords
- elasticsearch-shard
- elasticsearch-syskeygen
- elasticsearch-users
- 优化
- 故障排除
- 修复常见的集群问题
- 诊断未分配的分片
- 向系统中添加丢失的层
- 允许 Elasticsearch 在系统中分配数据
- 允许 Elasticsearch 分配索引
- 索引将索引分配过滤器与数据层节点角色混合,以在数据层之间移动
- 没有足够的节点来分配所有分片副本
- 单个节点上索引的分片总数已超过
- 每个节点的分片总数已达到
- 故障排除损坏
- 修复磁盘空间不足的数据节点
- 修复磁盘空间不足的主节点
- 修复磁盘空间不足的其他角色节点
- 启动索引生命周期管理
- 启动快照生命周期管理
- 从快照恢复
- 故障排除损坏的存储库
- 解决重复的快照策略失败问题
- 故障排除不稳定的集群
- 故障排除发现
- 故障排除监控
- 故障排除转换
- 故障排除 Watcher
- 故障排除搜索
- 故障排除分片容量健康问题
- 故障排除不平衡的集群
- 捕获诊断信息
- REST API
- API 约定
- 通用选项
- REST API 兼容性
- 自动缩放 API
- 行为分析 API
- 紧凑和对齐文本 (CAT) API
- 集群 API
- 跨集群复制 API
- 连接器 API
- 数据流 API
- 文档 API
- 丰富 API
- EQL API
- ES|QL API
- 功能 API
- Fleet API
- 图表探索 API
- 索引 API
- 别名是否存在
- 别名
- 分析
- 分析索引磁盘使用量
- 清除缓存
- 克隆索引
- 关闭索引
- 创建索引
- 创建或更新别名
- 创建或更新组件模板
- 创建或更新索引模板
- 创建或更新索引模板(旧版)
- 删除组件模板
- 删除悬挂索引
- 删除别名
- 删除索引
- 删除索引模板
- 删除索引模板(旧版)
- 存在
- 字段使用情况统计信息
- 刷新
- 强制合并
- 获取别名
- 获取组件模板
- 获取字段映射
- 获取索引
- 获取索引设置
- 获取索引模板
- 获取索引模板(旧版)
- 获取映射
- 导入悬挂索引
- 索引恢复
- 索引段
- 索引分片存储
- 索引统计信息
- 索引模板是否存在(旧版)
- 列出悬挂索引
- 打开索引
- 刷新
- 解析索引
- 解析集群
- 翻转
- 收缩索引
- 模拟索引
- 模拟模板
- 拆分索引
- 解冻索引
- 更新索引设置
- 更新映射
- 索引生命周期管理 API
- 推理 API
- 信息 API
- 摄取 API
- 许可 API
- Logstash API
- 机器学习 API
- 机器学习异常检测 API
- 机器学习数据帧分析 API
- 机器学习训练模型 API
- 迁移 API
- 节点生命周期 API
- 查询规则 API
- 重新加载搜索分析器 API
- 存储库计量 API
- 汇总 API
- 根 API
- 脚本 API
- 搜索 API
- 搜索应用程序 API
- 可搜索快照 API
- 安全 API
- 身份验证
- 更改密码
- 清除缓存
- 清除角色缓存
- 清除权限缓存
- 清除 API 密钥缓存
- 清除服务帐户令牌缓存
- 创建 API 密钥
- 创建或更新应用程序权限
- 创建或更新角色映射
- 创建或更新角色
- 批量创建或更新角色 API
- 批量删除角色 API
- 创建或更新用户
- 创建服务帐户令牌
- 委托 PKI 身份验证
- 删除应用程序权限
- 删除角色映射
- 删除角色
- 删除服务帐户令牌
- 删除用户
- 禁用用户
- 启用用户
- 注册 Kibana
- 注册节点
- 获取 API 密钥信息
- 获取应用程序权限
- 获取内置权限
- 获取角色映射
- 获取角色
- 查询角色
- 获取服务帐户
- 获取服务帐户凭据
- 获取安全设置
- 获取令牌
- 获取用户权限
- 获取用户
- 授予 API 密钥
- 具有权限
- 使 API 密钥失效
- 使令牌失效
- OpenID Connect 准备身份验证
- OpenID Connect 身份验证
- OpenID Connect 注销
- 查询 API 密钥信息
- 查询用户
- 更新 API 密钥
- 更新安全设置
- 批量更新 API 密钥
- SAML 准备身份验证
- SAML 身份验证
- SAML 注销
- SAML 失效
- SAML 完成注销
- SAML 服务提供商元数据
- SSL 证书
- 激活用户配置文件
- 禁用用户配置文件
- 启用用户配置文件
- 获取用户配置文件
- 建议用户配置文件
- 更新用户配置文件数据
- 具有用户配置文件权限
- 创建跨集群 API 密钥
- 更新跨集群 API 密钥
- 快照和还原 API
- 快照生命周期管理 API
- SQL API
- 同义词 API
- 文本结构 API
- 转换 API
- 使用情况 API
- Watcher API
- 定义
- 迁移指南
- 发行说明
- Elasticsearch 版本 8.17.0
- Elasticsearch 版本 8.16.1
- Elasticsearch 版本 8.16.0
- Elasticsearch 版本 8.15.5
- Elasticsearch 版本 8.15.4
- Elasticsearch 版本 8.15.3
- Elasticsearch 版本 8.15.2
- Elasticsearch 版本 8.15.1
- Elasticsearch 版本 8.15.0
- Elasticsearch 版本 8.14.3
- Elasticsearch 版本 8.14.2
- Elasticsearch 版本 8.14.1
- Elasticsearch 版本 8.14.0
- Elasticsearch 版本 8.13.4
- Elasticsearch 版本 8.13.3
- Elasticsearch 版本 8.13.2
- Elasticsearch 版本 8.13.1
- Elasticsearch 版本 8.13.0
- Elasticsearch 版本 8.12.2
- Elasticsearch 版本 8.12.1
- Elasticsearch 版本 8.12.0
- Elasticsearch 版本 8.11.4
- Elasticsearch 版本 8.11.3
- Elasticsearch 版本 8.11.2
- Elasticsearch 版本 8.11.1
- Elasticsearch 版本 8.11.0
- Elasticsearch 版本 8.10.4
- Elasticsearch 版本 8.10.3
- Elasticsearch 版本 8.10.2
- Elasticsearch 版本 8.10.1
- Elasticsearch 版本 8.10.0
- Elasticsearch 版本 8.9.2
- Elasticsearch 版本 8.9.1
- Elasticsearch 版本 8.9.0
- Elasticsearch 版本 8.8.2
- Elasticsearch 版本 8.8.1
- Elasticsearch 版本 8.8.0
- Elasticsearch 版本 8.7.1
- Elasticsearch 版本 8.7.0
- Elasticsearch 版本 8.6.2
- Elasticsearch 版本 8.6.1
- Elasticsearch 版本 8.6.0
- Elasticsearch 版本 8.5.3
- Elasticsearch 版本 8.5.2
- Elasticsearch 版本 8.5.1
- Elasticsearch 版本 8.5.0
- Elasticsearch 版本 8.4.3
- Elasticsearch 版本 8.4.2
- Elasticsearch 版本 8.4.1
- Elasticsearch 版本 8.4.0
- Elasticsearch 版本 8.3.3
- Elasticsearch 版本 8.3.2
- Elasticsearch 版本 8.3.1
- Elasticsearch 版本 8.3.0
- Elasticsearch 版本 8.2.3
- Elasticsearch 版本 8.2.2
- Elasticsearch 版本 8.2.1
- Elasticsearch 版本 8.2.0
- Elasticsearch 版本 8.1.3
- Elasticsearch 版本 8.1.2
- Elasticsearch 版本 8.1.1
- Elasticsearch 版本 8.1.0
- Elasticsearch 版本 8.0.1
- Elasticsearch 版本 8.0.0
- Elasticsearch 版本 8.0.0-rc2
- Elasticsearch 版本 8.0.0-rc1
- Elasticsearch 版本 8.0.0-beta1
- Elasticsearch 版本 8.0.0-alpha2
- Elasticsearch 版本 8.0.0-alpha1
- 依赖项和版本
速率聚合
编辑速率聚合
编辑rate
度量聚合只能在 date_histogram
或 composite
聚合内部使用。它计算每个桶中文档或字段的速率。字段值可以从文档中特定的数值或直方图字段中提取。
对于 composite
聚合,必须只有一个 date_histogram
源才能支持 rate
聚合。
语法
编辑一个独立的 rate
聚合看起来像这样
{ "rate": { "unit": "month", "field": "requests" } }
以下请求会将所有销售记录分组到每月桶中,然后将每个桶中的销售交易数量转换为年销售率。
resp = client.search( index="sales", size=0, aggs={ "by_date": { "date_histogram": { "field": "date", "calendar_interval": "month" }, "aggs": { "my_rate": { "rate": { "unit": "year" } } } } }, ) print(resp)
response = client.search( index: 'sales', body: { size: 0, aggregations: { by_date: { date_histogram: { field: 'date', calendar_interval: 'month' }, aggregations: { my_rate: { rate: { unit: 'year' } } } } } } ) puts response
const response = await client.search({ index: "sales", size: 0, aggs: { by_date: { date_histogram: { field: "date", calendar_interval: "month", }, aggs: { my_rate: { rate: { unit: "year", }, }, }, }, }, }); console.log(response);
GET sales/_search { "size": 0, "aggs": { "by_date": { "date_histogram": { "field": "date", "calendar_interval": "month" }, "aggs": { "my_rate": { "rate": { "unit": "year" } } } } } }
响应将返回每个桶中的年交易率。由于一年有 12 个月,年速率将通过将月速率乘以 12 自动计算得出。
{ ... "aggregations" : { "by_date" : { "buckets" : [ { "key_as_string" : "2015/01/01 00:00:00", "key" : 1420070400000, "doc_count" : 3, "my_rate" : { "value" : 36.0 } }, { "key_as_string" : "2015/02/01 00:00:00", "key" : 1422748800000, "doc_count" : 2, "my_rate" : { "value" : 24.0 } }, { "key_as_string" : "2015/03/01 00:00:00", "key" : 1425168000000, "doc_count" : 2, "my_rate" : { "value" : 24.0 } } ] } } }
除了计算文档数量,还可以计算每个桶中文档中所有字段值的总和或每个桶中值的数量。以下请求会将所有销售记录分组到每月桶中,然后计算每月总销售额并将其转换为平均每日销售额。
resp = client.search( index="sales", size=0, aggs={ "by_date": { "date_histogram": { "field": "date", "calendar_interval": "month" }, "aggs": { "avg_price": { "rate": { "field": "price", "unit": "day" } } } } }, ) print(resp)
response = client.search( index: 'sales', body: { size: 0, aggregations: { by_date: { date_histogram: { field: 'date', calendar_interval: 'month' }, aggregations: { avg_price: { rate: { field: 'price', unit: 'day' } } } } } } ) puts response
const response = await client.search({ index: "sales", size: 0, aggs: { by_date: { date_histogram: { field: "date", calendar_interval: "month", }, aggs: { avg_price: { rate: { field: "price", unit: "day", }, }, }, }, }, }); console.log(response);
GET sales/_search { "size": 0, "aggs": { "by_date": { "date_histogram": { "field": "date", "calendar_interval": "month" }, "aggs": { "avg_price": { "rate": { "field": "price", "unit": "day" } } } } } }
响应将包含每个月的平均每日销售价格。
{ ... "aggregations" : { "by_date" : { "buckets" : [ { "key_as_string" : "2015/01/01 00:00:00", "key" : 1420070400000, "doc_count" : 3, "avg_price" : { "value" : 17.741935483870968 } }, { "key_as_string" : "2015/02/01 00:00:00", "key" : 1422748800000, "doc_count" : 2, "avg_price" : { "value" : 2.142857142857143 } }, { "key_as_string" : "2015/03/01 00:00:00", "key" : 1425168000000, "doc_count" : 2, "avg_price" : { "value" : 12.096774193548388 } } ] } } }
您还可以利用 composite
聚合来计算库存中每个商品的平均每日销售价格
resp = client.search( index="sales", filter_path="aggregations", size="0", aggs={ "buckets": { "composite": { "sources": [ { "month": { "date_histogram": { "field": "date", "calendar_interval": "month" } } }, { "type": { "terms": { "field": "type" } } } ] }, "aggs": { "avg_price": { "rate": { "field": "price", "unit": "day" } } } } }, ) print(resp)
response = client.search( index: 'sales', filter_path: 'aggregations', size: 0, body: { aggregations: { buckets: { composite: { sources: [ { month: { date_histogram: { field: 'date', calendar_interval: 'month' } } }, { type: { terms: { field: 'type' } } } ] }, aggregations: { avg_price: { rate: { field: 'price', unit: 'day' } } } } } } ) puts response
const response = await client.search({ index: "sales", filter_path: "aggregations", size: 0, aggs: { buckets: { composite: { sources: [ { month: { date_histogram: { field: "date", calendar_interval: "month", }, }, }, { type: { terms: { field: "type", }, }, }, ], }, aggs: { avg_price: { rate: { field: "price", unit: "day", }, }, }, }, }, }); console.log(response);
GET sales/_search?filter_path=aggregations&size=0 { "aggs": { "buckets": { "composite": { "sources": [ { "month": { "date_histogram": { "field": "date", "calendar_interval": "month" } } }, { "type": { "terms": { "field": "type" } } } ] }, "aggs": { "avg_price": { "rate": { "field": "price", "unit": "day" } } } } } }
响应将包含每个月每件商品的平均每日销售价格。
{ "aggregations" : { "buckets" : { "after_key" : { "month" : 1425168000000, "type" : "t-shirt" }, "buckets" : [ { "key" : { "month" : 1420070400000, "type" : "bag" }, "doc_count" : 1, "avg_price" : { "value" : 4.838709677419355 } }, { "key" : { "month" : 1420070400000, "type" : "hat" }, "doc_count" : 1, "avg_price" : { "value" : 6.451612903225806 } }, { "key" : { "month" : 1420070400000, "type" : "t-shirt" }, "doc_count" : 1, "avg_price" : { "value" : 6.451612903225806 } }, { "key" : { "month" : 1422748800000, "type" : "hat" }, "doc_count" : 1, "avg_price" : { "value" : 1.7857142857142858 } }, { "key" : { "month" : 1422748800000, "type" : "t-shirt" }, "doc_count" : 1, "avg_price" : { "value" : 0.35714285714285715 } }, { "key" : { "month" : 1425168000000, "type" : "hat" }, "doc_count" : 1, "avg_price" : { "value" : 6.451612903225806 } }, { "key" : { "month" : 1425168000000, "type" : "t-shirt" }, "doc_count" : 1, "avg_price" : { "value" : 5.645161290322581 } } ] } } }
通过添加值为 value_count
的 mode
参数,我们可以将计算从 sum
更改为字段值的数量
resp = client.search( index="sales", size=0, aggs={ "by_date": { "date_histogram": { "field": "date", "calendar_interval": "month" }, "aggs": { "avg_number_of_sales_per_year": { "rate": { "field": "price", "unit": "year", "mode": "value_count" } } } } }, ) print(resp)
response = client.search( index: 'sales', body: { size: 0, aggregations: { by_date: { date_histogram: { field: 'date', calendar_interval: 'month' }, aggregations: { avg_number_of_sales_per_year: { rate: { field: 'price', unit: 'year', mode: 'value_count' } } } } } } ) puts response
const response = await client.search({ index: "sales", size: 0, aggs: { by_date: { date_histogram: { field: "date", calendar_interval: "month", }, aggs: { avg_number_of_sales_per_year: { rate: { field: "price", unit: "year", mode: "value_count", }, }, }, }, }, }); console.log(response);
GET sales/_search { "size": 0, "aggs": { "by_date": { "date_histogram": { "field": "date", "calendar_interval": "month" }, "aggs": { "avg_number_of_sales_per_year": { "rate": { "field": "price", "unit": "year", "mode": "value_count" } } } } } }
响应将包含每个月的平均每日销售价格。
{ ... "aggregations" : { "by_date" : { "buckets" : [ { "key_as_string" : "2015/01/01 00:00:00", "key" : 1420070400000, "doc_count" : 3, "avg_number_of_sales_per_year" : { "value" : 36.0 } }, { "key_as_string" : "2015/02/01 00:00:00", "key" : 1422748800000, "doc_count" : 2, "avg_number_of_sales_per_year" : { "value" : 24.0 } }, { "key_as_string" : "2015/03/01 00:00:00", "key" : 1425168000000, "doc_count" : 2, "avg_number_of_sales_per_year" : { "value" : 24.0 } } ] } } }
默认情况下使用 sum
模式。
-
"mode": "sum"
- 计算所有值字段的总和
-
"mode": "value_count"
- 使用字段中值的数量
桶大小和速率之间的关系
编辑rate
聚合支持 date_histogram
聚合的 calendar_intervals 参数 可以使用的所有速率。指定的速率应与 date_histogram
聚合间隔兼容,即应可以将桶大小转换为速率。默认情况下,使用 date_histogram
的间隔。
-
"rate": "second"
- 与所有间隔兼容
-
"rate": "minute"
- 与所有间隔兼容
-
"rate": "hour"
- 与所有间隔兼容
-
"rate": "day"
- 与所有间隔兼容
-
"rate": "week"
- 与所有间隔兼容
-
"rate": "month"
- 仅与
month
、quarter
和year
日历间隔兼容 -
"rate": "quarter"
- 仅与
month
、quarter
和year
日历间隔兼容 -
"rate": "year"
- 仅与
month
、quarter
和year
日历间隔兼容
如果日期直方图不是速率直方图的直接父级,则还有其他限制。在这种情况下,速率间隔和直方图间隔都必须在同一组中:[second
, ` minute`, hour
, day
, week
] 或 [month
, quarter
, year
]。例如,如果日期直方图基于 month
,则仅支持 month
、quarter
或 year
的速率间隔。如果日期直方图基于 day
,则仅支持 second
、` minute`、hour
、day
和 week
的速率间隔。
脚本
编辑如果需要针对未索引的值运行聚合,请在运行时字段上运行聚合。例如,如果我们需要在计算速率之前调整价格
resp = client.search( index="sales", size=0, runtime_mappings={ "price.adjusted": { "type": "double", "script": { "source": "emit(doc['price'].value * params.adjustment)", "params": { "adjustment": 0.9 } } } }, aggs={ "by_date": { "date_histogram": { "field": "date", "calendar_interval": "month" }, "aggs": { "avg_price": { "rate": { "field": "price.adjusted" } } } } }, ) print(resp)
response = client.search( index: 'sales', body: { size: 0, runtime_mappings: { 'price.adjusted' => { type: 'double', script: { source: "emit(doc['price'].value * params.adjustment)", params: { adjustment: 0.9 } } } }, aggregations: { by_date: { date_histogram: { field: 'date', calendar_interval: 'month' }, aggregations: { avg_price: { rate: { field: 'price.adjusted' } } } } } } ) puts response
const response = await client.search({ index: "sales", size: 0, runtime_mappings: { "price.adjusted": { type: "double", script: { source: "emit(doc['price'].value * params.adjustment)", params: { adjustment: 0.9, }, }, }, }, aggs: { by_date: { date_histogram: { field: "date", calendar_interval: "month", }, aggs: { avg_price: { rate: { field: "price.adjusted", }, }, }, }, }, }); console.log(response);
GET sales/_search { "size": 0, "runtime_mappings": { "price.adjusted": { "type": "double", "script": { "source": "emit(doc['price'].value * params.adjustment)", "params": { "adjustment": 0.9 } } } }, "aggs": { "by_date": { "date_histogram": { "field": "date", "calendar_interval": "month" }, "aggs": { "avg_price": { "rate": { "field": "price.adjusted" } } } } } }
{ ... "aggregations" : { "by_date" : { "buckets" : [ { "key_as_string" : "2015/01/01 00:00:00", "key" : 1420070400000, "doc_count" : 3, "avg_price" : { "value" : 495.0 } }, { "key_as_string" : "2015/02/01 00:00:00", "key" : 1422748800000, "doc_count" : 2, "avg_price" : { "value" : 54.0 } }, { "key_as_string" : "2015/03/01 00:00:00", "key" : 1425168000000, "doc_count" : 2, "avg_price" : { "value" : 337.5 } } ] } } }
On this page