直方图聚合
编辑直方图聚合编辑
一种基于多桶值源的聚合，可以应用于从文档中提取的数值或数值范围值。它在值上动态构建固定大小（也称为间隔）的桶。例如，如果文档有一个包含价格（数值）的字段，我们可以将此聚合配置为以间隔 5 动态构建桶（在价格的情况下，它可能代表 5 美元）。当聚合执行时，将评估每个文档的价格字段，并将其向下舍入到最接近的桶 - 例如，如果价格为 32 且桶大小为 5，则舍入将产生 30，因此文档将“落入”与键 30 关联的桶中。为了使这一点更正式，以下是使用的舍入函数
bucket_key = Math.floor((value - offset) / interval) * interval + offset
对于范围值，一个文档可以落入多个桶中。第一个桶是根据范围的下限计算的，方法与计算单个值的桶相同。最后一个桶的计算方法与根据范围的上限计算相同，并且范围计入这两个桶之间以及包括这两个桶在内的所有桶中。
interval 必须是正十进制数，而 offset 必须是 [0, interval) 中的十进制数（大于或等于 0 且小于 interval 的十进制数）
以下代码段按 50 的间隔根据产品的 price 对其进行“分桶”
response = client.search(
index: 'sales',
size: 0,
body: {
aggregations: {
prices: {
histogram: {
field: 'price',
interval: 50
}
}
}
}
)
puts response
POST /sales/_search?size=0
{
"aggs": {
"prices": {
"histogram": {
"field": "price",
"interval": 50
}
}
}
}
以下可能是响应
{
...
"aggregations": {
"prices": {
"buckets": [
{
"key": 0.0,
"doc_count": 1
},
{
"key": 50.0,
"doc_count": 1
},
{
"key": 100.0,
"doc_count": 0
},
{
"key": 150.0,
"doc_count": 2
},
{
"key": 200.0,
"doc_count": 3
}
]
}
}
}
最小文档数编辑
上面的响应表明没有文档的价格落在 [100, 150) 的范围内。默认情况下，响应将在直方图中用空桶填充间隙。可以通过 min_doc_count 设置来更改这一点，并请求具有更高最小计数的桶
response = client.search(
index: 'sales',
size: 0,
body: {
aggregations: {
prices: {
histogram: {
field: 'price',
interval: 50,
min_doc_count: 1
}
}
}
}
)
puts response
POST /sales/_search?size=0
{
"aggs": {
"prices": {
"histogram": {
"field": "price",
"interval": 50,
"min_doc_count": 1
}
}
}
}
响应
{
...
"aggregations": {
"prices": {
"buckets": [
{
"key": 0.0,
"doc_count": 1
},
{
"key": 50.0,
"doc_count": 1
},
{
"key": 150.0,
"doc_count": 2
},
{
"key": 200.0,
"doc_count": 3
}
]
}
}
}
默认情况下，histogram 返回数据本身范围内的所有桶，也就是说，具有最小值（在直方图上）的文档将确定最小桶（具有最小键的桶），而具有最大值的文档将确定最大桶（具有最大键的桶）。通常，在请求空桶时，这会导致混淆，特别是在数据也被过滤的情况下。
为了理解原因，让我们看一个例子
假设您正在过滤请求以获取值介于 0 和 500 之间的所有文档，此外，您还想使用间隔为 50 的直方图按价格对数据进行切片。您还指定了 "min_doc_count" : 0，因为您希望获取所有桶，甚至是空桶。如果所有产品（文档）的价格都高于 100，那么您将获得的第一个桶将是以 100 作为其键的桶。这令人困惑，因为很多时候，您还想获得 0 - 100 之间的那些桶。
使用 extended_bounds 设置，您现在可以“强制”直方图聚合在特定的 min 值上开始构建桶，并继续构建桶直到 max 值（即使不再有文档）。仅当 min_doc_count 为 0 时，使用 extended_bounds 才有意义（如果 min_doc_count 大于 0，则永远不会返回空桶）。
请注意（顾名思义），extended_bounds 不会 过滤桶。这意味着，如果 extended_bounds.min 高于从文档中提取的值，则文档仍将决定第一个桶是什么（extended_bounds.max 和最后一个桶也是如此）。为了过滤桶，应该将直方图聚合嵌套在具有适当 from/to 设置的范围 filter 聚合下。
例子
response = client.search(
index: 'sales',
size: 0,
body: {
query: {
constant_score: {
filter: {
range: {
price: {
to: '500'
}
}
}
}
},
aggregations: {
prices: {
histogram: {
field: 'price',
interval: 50,
extended_bounds: {
min: 0,
max: 500
}
}
}
}
}
)
puts response
POST /sales/_search?size=0
{
"query": {
"constant_score": { "filter": { "range": { "price": { "to": "500" } } } }
},
"aggs": {
"prices": {
"histogram": {
"field": "price",
"interval": 50,
"extended_bounds": {
"min": 0,
"max": 500
}
}
}
}
}
聚合范围时，桶基于返回文档的值。这意味着响应可能包含查询范围之外的桶。例如，如果您的查询查找大于 100 的值，并且您有一个范围涵盖 50 到 150，间隔为 50，则该文档将落在 3 个桶中 - 50、100 和 150。一般来说，最好将查询和聚合步骤视为独立的 - 查询选择一组文档，然后聚合对这些文档进行分桶，而不考虑它们是如何被选择的。有关更多信息和示例，请参阅关于范围字段分桶的说明。
hard_bounds 是 extended_bounds 的对应物，可以限制直方图中桶的范围。在开放 数据范围 的情况下，它特别有用，因为这可能会导致大量的桶。
例子
response = client.search(
index: 'sales',
size: 0,
body: {
query: {
constant_score: {
filter: {
range: {
price: {
to: '500'
}
}
}
}
},
aggregations: {
prices: {
histogram: {
field: 'price',
interval: 50,
hard_bounds: {
min: 100,
max: 200
}
}
}
}
}
)
puts response
POST /sales/_search?size=0
{
"query": {
"constant_score": { "filter": { "range": { "price": { "to": "500" } } } }
},
"aggs": {
"prices": {
"histogram": {
"field": "price",
"interval": 50,
"hard_bounds": {
"min": 100,
"max": 200
}
}
}
}
}
在此示例中，即使查询中指定的范围高达 500，直方图也只有 2 个桶，分别从 100 和 150 开始。所有其他桶都将被省略，即使结果中存在应该进入这些桶的文档。
偏移量编辑
默认情况下，桶键从 0 开始，然后以 interval 的均匀间隔步长继续，例如，如果间隔为 10，则前三个桶（假设其中有数据）将是 [0, 10)、[10, 20)、[20, 30)。可以使用 offset 选项移动桶边界。
最好用一个例子来说明这一点。如果有 10 个文档，其值范围从 5 到 14，则使用间隔 10 将产生两个桶，每个桶有 5 个文档。如果使用额外的偏移量 5，则将只有一个桶 [5, 15)，其中包含所有 10 个文档。
响应格式编辑
默认情况下，桶作为有序数组返回。也可以请求将响应作为哈希返回，并以桶键作为键
response = client.search(
index: 'sales',
size: 0,
body: {
aggregations: {
prices: {
histogram: {
field: 'price',
interval: 50,
keyed: true
}
}
}
}
)
puts response
POST /sales/_search?size=0
{
"aggs": {
"prices": {
"histogram": {
"field": "price",
"interval": 50,
"keyed": true
}
}
}
}
响应
{
...
"aggregations": {
"prices": {
"buckets": {
"0.0": {
"key": 0.0,
"doc_count": 1
},
"50.0": {
"key": 50.0,
"doc_count": 1
},
"100.0": {
"key": 100.0,
"doc_count": 0
},
"150.0": {
"key": 150.0,
"doc_count": 2
},
"200.0": {
"key": 200.0,
"doc_count": 3
}
}
}
}
}
缺失值编辑
missing 参数定义了如何处理缺少值的文档。默认情况下，它们将被忽略，但也可以将它们视为具有值。
response = client.search(
index: 'sales',
size: 0,
body: {
aggregations: {
quantity: {
histogram: {
field: 'quantity',
interval: 10,
missing: 0
}
}
}
}
)
puts response
直方图字段编辑
对直方图字段运行直方图聚合将计算每个间隔的计数总数。
例如，对以下索引执行直方图聚合，该索引存储了不同网络的预聚合直方图，其中包含延迟指标（以毫秒为单位）
response = client.indices.create(
index: 'metrics_index',
body: {
mappings: {
properties: {
network: {
properties: {
name: {
type: 'keyword'
}
}
},
latency_histo: {
type: 'histogram'
}
}
}
}
)
puts response
response = client.index(
index: 'metrics_index',
id: 1,
refresh: true,
body: {
'network.name' => 'net-1',
latency_histo: {
values: [
1,
3,
8,
12,
15
],
counts: [
3,
7,
23,
12,
6
]
}
}
)
puts response
response = client.index(
index: 'metrics_index',
id: 2,
refresh: true,
body: {
'network.name' => 'net-2',
latency_histo: {
values: [
1,
6,
8,
12,
14
],
counts: [
8,
17,
8,
7,
6
]
}
}
)
puts response
response = client.search(
index: 'metrics_index',
size: 0,
body: {
aggregations: {
latency_buckets: {
histogram: {
field: 'latency_histo',
interval: 5
}
}
}
}
)
puts response
PUT metrics_index
{
"mappings": {
"properties": {
"network": {
"properties": {
"name": {
"type": "keyword"
}
}
},
"latency_histo": {
"type": "histogram"
}
}
}
}
PUT metrics_index/_doc/1?refresh
{
"network.name" : "net-1",
"latency_histo" : {
"values" : [1, 3, 8, 12, 15],
"counts" : [3, 7, 23, 12, 6]
}
}
PUT metrics_index/_doc/2?refresh
{
"network.name" : "net-2",
"latency_histo" : {
"values" : [1, 6, 8, 12, 14],
"counts" : [8, 17, 8, 7, 6]
}
}
POST /metrics_index/_search?size=0
{
"aggs": {
"latency_buckets": {
"histogram": {
"field": "latency_histo",
"interval": 5
}
}
}
}
histogram 聚合将对基于 values 计算的每个间隔的计数求和，并返回以下输出
{
...
"aggregations": {
"latency_buckets": {
"buckets": [
{
"key": 0.0,
"doc_count": 18
},
{
"key": 5.0,
"doc_count": 48
},
{
"key": 10.0,
"doc_count": 25
},
{
"key": 15.0,
"doc_count": 6
}
]
}
}
}
直方图聚合是一种桶聚合，它将文档划分到桶中，而不是像指标聚合那样计算字段上的指标。每个桶代表一个文档集合，子聚合可以在其上运行。另一方面，直方图字段是一个预聚合字段，表示单个字段内的多个值：数值数据的桶和每个桶的项目/文档计数。直方图聚合的预期输入（预期原始文档）与直方图字段（提供汇总信息）之间的这种不匹配限制了聚合的结果，使其只能是每个桶的文档计数。
因此，当对直方图字段执行直方图聚合时，不允许使用子聚合。
此外，当对直方图字段运行直方图聚合时，不支持 missing 参数。