开始使用汇总
编辑开始使用汇总
编辑从 8.15.0 开始，在没有汇总使用的集群中调用 put job API 将会失败，并显示有关汇总已弃用和计划删除的消息。集群必须包含一个汇总作业或一个汇总索引，才能允许执行 put job API。
要使用汇总功能，您需要创建一个或多个“汇总作业”。这些作业在后台持续运行，并汇总您指定的索引，并将汇总的文档放入辅助索引（也由您选择）。
假设您有一系列每日索引，其中包含传感器数据（sensor-2017-01-01、sensor-2017-01-02 等）。一个示例文档可能如下所示
{
"timestamp": 1516729294000,
"temperature": 200,
"voltage": 5.2,
"node": "a"
}
创建汇总作业
编辑我们希望将这些文档汇总为每小时摘要，这将允许我们生成时间间隔为一个小时或更长的报告和仪表板。一个汇总作业可能如下所示
resp = client.rollup.put_job(
id="sensor",
index_pattern="sensor-*",
rollup_index="sensor_rollup",
cron="*/30 * * * * ?",
page_size=1000,
groups={
"date_histogram": {
"field": "timestamp",
"fixed_interval": "60m"
},
"terms": {
"fields": [
"node"
]
}
},
metrics=[
{
"field": "temperature",
"metrics": [
"min",
"max",
"sum"
]
},
{
"field": "voltage",
"metrics": [
"avg"
]
}
],
)
print(resp)
const response = await client.rollup.putJob({
id: "sensor",
index_pattern: "sensor-*",
rollup_index: "sensor_rollup",
cron: "*/30 * * * * ?",
page_size: 1000,
groups: {
date_histogram: {
field: "timestamp",
fixed_interval: "60m",
},
terms: {
fields: ["node"],
},
},
metrics: [
{
field: "temperature",
metrics: ["min", "max", "sum"],
},
{
field: "voltage",
metrics: ["avg"],
},
],
});
console.log(response);
PUT _rollup/job/sensor
{
"index_pattern": "sensor-*",
"rollup_index": "sensor_rollup",
"cron": "*/30 * * * * ?",
"page_size": 1000,
"groups": {
"date_histogram": {
"field": "timestamp",
"fixed_interval": "60m"
},
"terms": {
"fields": [ "node" ]
}
},
"metrics": [
{
"field": "temperature",
"metrics": [ "min", "max", "sum" ]
},
{
"field": "voltage",
"metrics": [ "avg" ]
}
]
}
我们给作业的 ID 为“sensor”（在 url 中：PUT _rollup/job/sensor），并告诉它汇总索引模式 "sensor-*"。此作业将查找并汇总与该模式匹配的任何索引。汇总摘要随后存储在 "sensor_rollup" 索引中。
cron 参数控制作业激活的时间和频率。当汇总作业的 cron 计划触发时，它将从上次激活后停止的地方开始汇总。因此，如果您将 cron 配置为每 30 秒运行一次，该作业将处理最后 30 秒索引到 sensor-* 索引中的数据。
如果 cron 配置为每天午夜运行一次，则该作业将处理最后 24 小时的数据。选择很大程度上是基于您的偏好，这取决于您希望汇总的“实时性”以及您是希望连续处理还是将其移至非高峰时段。
接下来，我们定义一组 groups。本质上，我们定义了稍后在查询数据时希望在其上进行透视的维度。此作业中的分组允许我们在 timestamp 字段上使用 date_histogram 聚合，以小时为间隔进行汇总。它还允许我们在 node 字段上运行术语聚合。
在定义应为数据生成哪些组之后，接下来配置应收集哪些指标。默认情况下，仅为每个组收集 doc_counts。为了使汇总有用，您通常会添加诸如平均值、最小值、最大值等指标。在此示例中，指标非常简单：我们希望保存 temperature 字段的最小值/最大值/总和，以及 voltage 字段的平均值。
有关作业语法的更多详细信息，请参阅创建汇总作业。
在您执行上述命令并创建作业后，您将收到以下响应
{
"acknowledged": true
}
启动作业
编辑创建作业后，它将处于非活动状态。作业需要在开始处理数据之前启动（这允许您稍后停止它们，作为临时暂停的一种方式，而无需删除配置）。
要启动作业，请执行此命令
resp = client.rollup.start_job(
id="sensor",
)
print(resp)
response = client.rollup.start_job( id: 'sensor' ) puts response
const response = await client.rollup.startJob({
id: "sensor",
});
console.log(response);
POST _rollup/job/sensor/_start
搜索汇总结果
编辑在作业运行并处理了一些数据后，我们可以使用汇总搜索端点进行一些搜索。汇总功能的设计使得您可以像往常一样使用相同的 Query DSL 语法……它只是恰好在汇总的数据上运行。
例如，以下查询
resp = client.rollup.rollup_search(
index="sensor_rollup",
size=0,
aggregations={
"max_temperature": {
"max": {
"field": "temperature"
}
}
},
)
print(resp)
response = client.rollup.rollup_search(
index: 'sensor_rollup',
body: {
size: 0,
aggregations: {
max_temperature: {
max: {
field: 'temperature'
}
}
}
}
)
puts response
const response = await client.rollup.rollupSearch({
index: "sensor_rollup",
size: 0,
aggregations: {
max_temperature: {
max: {
field: "temperature",
},
},
},
});
console.log(response);
GET /sensor_rollup/_rollup_search
{
"size": 0,
"aggregations": {
"max_temperature": {
"max": {
"field": "temperature"
}
}
}
}
这是一个简单的聚合，用于计算 temperature 字段的最大值。但您会注意到它被发送到 sensor_rollup 索引，而不是原始 sensor-* 索引。您还会注意到它正在使用 _rollup_search 端点。否则，语法与您期望的完全相同。
如果执行该查询，您将收到一个看起来像正常聚合响应的结果
{
"took" : 102,
"timed_out" : false,
"terminated_early" : false,
"_shards" : ... ,
"hits" : {
"total" : {
"value": 0,
"relation": "eq"
},
"max_score" : 0.0,
"hits" : [ ]
},
"aggregations" : {
"max_temperature" : {
"value" : 202.0
}
}
}
唯一值得注意的区别是，汇总搜索结果的 hits 为零，因为我们不再真正搜索原始的实时数据。否则，语法完全相同。
这里有一些有趣的要点。首先，即使数据以小时间隔汇总并按节点名称分区，我们运行的查询也只是计算所有文档中的最大温度。groups在作业中配置的不是查询的强制元素，它们只是您可以分区的额外维度。其次，请求和响应语法与正常的 DSL 几乎相同，使其易于集成到仪表板和应用程序中。
最后，我们可以使用我们定义的那些分组字段来构造更复杂的查询
resp = client.rollup.rollup_search(
index="sensor_rollup",
size=0,
aggregations={
"timeline": {
"date_histogram": {
"field": "timestamp",
"fixed_interval": "7d"
},
"aggs": {
"nodes": {
"terms": {
"field": "node"
},
"aggs": {
"max_temperature": {
"max": {
"field": "temperature"
}
},
"avg_voltage": {
"avg": {
"field": "voltage"
}
}
}
}
}
}
},
)
print(resp)
response = client.rollup.rollup_search(
index: 'sensor_rollup',
body: {
size: 0,
aggregations: {
timeline: {
date_histogram: {
field: 'timestamp',
fixed_interval: '7d'
},
aggregations: {
nodes: {
terms: {
field: 'node'
},
aggregations: {
max_temperature: {
max: {
field: 'temperature'
}
},
avg_voltage: {
avg: {
field: 'voltage'
}
}
}
}
}
}
}
}
)
puts response
const response = await client.rollup.rollupSearch({
index: "sensor_rollup",
size: 0,
aggregations: {
timeline: {
date_histogram: {
field: "timestamp",
fixed_interval: "7d",
},
aggs: {
nodes: {
terms: {
field: "node",
},
aggs: {
max_temperature: {
max: {
field: "temperature",
},
},
avg_voltage: {
avg: {
field: "voltage",
},
},
},
},
},
},
},
});
console.log(response);
GET /sensor_rollup/_rollup_search
{
"size": 0,
"aggregations": {
"timeline": {
"date_histogram": {
"field": "timestamp",
"fixed_interval": "7d"
},
"aggs": {
"nodes": {
"terms": {
"field": "node"
},
"aggs": {
"max_temperature": {
"max": {
"field": "temperature"
}
},
"avg_voltage": {
"avg": {
"field": "voltage"
}
}
}
}
}
}
}
}
它返回相应的响应
{
"took" : 93,
"timed_out" : false,
"terminated_early" : false,
"_shards" : ... ,
"hits" : {
"total" : {
"value": 0,
"relation": "eq"
},
"max_score" : 0.0,
"hits" : [ ]
},
"aggregations" : {
"timeline" : {
"buckets" : [
{
"key_as_string" : "2018-01-18T00:00:00.000Z",
"key" : 1516233600000,
"doc_count" : 6,
"nodes" : {
"doc_count_error_upper_bound" : 0,
"sum_other_doc_count" : 0,
"buckets" : [
{
"key" : "a",
"doc_count" : 2,
"max_temperature" : {
"value" : 202.0
},
"avg_voltage" : {
"value" : 5.1499998569488525
}
},
{
"key" : "b",
"doc_count" : 2,
"max_temperature" : {
"value" : 201.0
},
"avg_voltage" : {
"value" : 5.700000047683716
}
},
{
"key" : "c",
"doc_count" : 2,
"max_temperature" : {
"value" : 202.0
},
"avg_voltage" : {
"value" : 4.099999904632568
}
}
]
}
}
]
}
}
}
除了更复杂（日期直方图和术语聚合，以及额外的平均指标）之外，您还会注意到 date_histogram 使用 7d 间隔，而不是 60m。
结论
编辑本快速入门应该对汇总公开的核心功能进行了简明扼要的概述。在设置汇总时，还有更多技巧和注意事项，您可以在本节的其余部分找到。您还可以浏览REST API以了解可用的内容。