自动间隔日期直方图聚合

编辑

自动间隔日期直方图聚合编辑

一种多桶聚合,类似于 日期直方图,但它不提供用于作为每个桶的宽度的间隔,而是提供一个目标桶数,指示所需的桶数,并且桶的间隔将自动选择以最佳地实现该目标。返回的桶数始终小于或等于此目标数。

桶字段是可选的,如果未指定,将默认为 10 个桶。

请求 10 个桶的目标。

response = client.search(
  index: 'sales',
  size: 0,
  body: {
    aggregations: {
      sales_over_time: {
        auto_date_histogram: {
          field: 'date',
          buckets: 10
        }
      }
    }
  }
)
puts response
POST /sales/_search?size=0
{
  "aggs": {
    "sales_over_time": {
      "auto_date_histogram": {
        "field": "date",
        "buckets": 10
      }
    }
  }
}

编辑

在内部,日期表示为一个 64 位数字,表示自纪元以来的毫秒时间戳。这些时间戳作为桶 key 返回。 key_as_string 是使用 format 参数指定的格式将相同时间戳转换为格式化的日期字符串。

如果未指定 format,则它将使用字段映射中指定的第一个日期 格式

response = client.search(
  index: 'sales',
  size: 0,
  body: {
    aggregations: {
      sales_over_time: {
        auto_date_histogram: {
          field: 'date',
          buckets: 5,
          format: 'yyyy-MM-dd'
        }
      }
    }
  }
)
puts response
POST /sales/_search?size=0
{
  "aggs": {
    "sales_over_time": {
      "auto_date_histogram": {
        "field": "date",
        "buckets": 5,
        "format": "yyyy-MM-dd" 
      }
    }
  }
}

支持表达式的日期 格式模式

响应

{
  ...
  "aggregations": {
    "sales_over_time": {
      "buckets": [
        {
          "key_as_string": "2015-01-01",
          "key": 1420070400000,
          "doc_count": 3
        },
        {
          "key_as_string": "2015-02-01",
          "key": 1422748800000,
          "doc_count": 2
        },
        {
          "key_as_string": "2015-03-01",
          "key": 1425168000000,
          "doc_count": 2
        }
      ],
      "interval": "1M"
    }
  }
}

间隔编辑

返回的桶的间隔是根据聚合收集的数据选择的,以便返回的桶数小于或等于请求的桶数。返回的可能间隔为

以 1、5、10 和 30 的倍数

分钟

以 1、5、10 和 30 的倍数

小时

以 1、3 和 12 的倍数

以 1 和 7 的倍数

以 1 和 3 的倍数

以 1、5、10、20、50 和 100 的倍数

在最坏的情况下,如果每日桶的数量对于请求的桶数来说太多,则返回的桶数将是请求的桶数的 1/7。

时区编辑

日期时间存储在 Elasticsearch 中的 UTC 中。默认情况下,所有分组和舍入也在 UTC 中进行。 time_zone 参数可用于指示分组应使用不同的时区。

时区可以指定为 ISO 8601 UTC 偏移量(例如 +01:00-08:00)或时区 ID,即 TZ 数据库中使用的标识符,例如 America/Los_Angeles

考虑以下示例

response = client.index(
  index: 'my-index-000001',
  id: 1,
  refresh: true,
  body: {
    date: '2015-10-01T00:30:00Z'
  }
)
puts response

response = client.index(
  index: 'my-index-000001',
  id: 2,
  refresh: true,
  body: {
    date: '2015-10-01T01:30:00Z'
  }
)
puts response

response = client.index(
  index: 'my-index-000001',
  id: 3,
  refresh: true,
  body: {
    date: '2015-10-01T02:30:00Z'
  }
)
puts response

response = client.search(
  index: 'my-index-000001',
  size: 0,
  body: {
    aggregations: {
      by_day: {
        auto_date_histogram: {
          field: 'date',
          buckets: 3
        }
      }
    }
  }
)
puts response
PUT my-index-000001/_doc/1?refresh
{
  "date": "2015-10-01T00:30:00Z"
}

PUT my-index-000001/_doc/2?refresh
{
  "date": "2015-10-01T01:30:00Z"
}

PUT my-index-000001/_doc/3?refresh
{
  "date": "2015-10-01T02:30:00Z"
}

GET my-index-000001/_search?size=0
{
  "aggs": {
    "by_day": {
      "auto_date_histogram": {
        "field":     "date",
        "buckets" : 3
      }
    }
  }
}

如果未指定时区,则使用 UTC,将返回三个 1 小时桶,从 2015 年 10 月 1 日的 UTC 午夜开始

{
  ...
  "aggregations": {
    "by_day": {
      "buckets": [
        {
          "key_as_string": "2015-10-01T00:00:00.000Z",
          "key": 1443657600000,
          "doc_count": 1
        },
        {
          "key_as_string": "2015-10-01T01:00:00.000Z",
          "key": 1443661200000,
          "doc_count": 1
        },
        {
          "key_as_string": "2015-10-01T02:00:00.000Z",
          "key": 1443664800000,
          "doc_count": 1
        }
      ],
      "interval": "1h"
    }
  }
}

如果指定了 time_zone-01:00,则午夜从 UTC 午夜前一小时开始

response = client.search(
  index: 'my-index-000001',
  size: 0,
  body: {
    aggregations: {
      by_day: {
        auto_date_histogram: {
          field: 'date',
          buckets: 3,
          time_zone: '-01:00'
        }
      }
    }
  }
)
puts response
GET my-index-000001/_search?size=0
{
  "aggs": {
    "by_day": {
      "auto_date_histogram": {
        "field":     "date",
        "buckets" : 3,
        "time_zone": "-01:00"
      }
    }
  }
}

现在仍然返回三个 1 小时桶,但第一个桶从 2015 年 9 月 30 日晚上 11:00 开始,因为这是指定时区中桶的本地时间。

{
  ...
  "aggregations": {
    "by_day": {
      "buckets": [
        {
          "key_as_string": "2015-09-30T23:00:00.000-01:00", 
          "key": 1443657600000,
          "doc_count": 1
        },
        {
          "key_as_string": "2015-10-01T00:00:00.000-01:00",
          "key": 1443661200000,
          "doc_count": 1
        },
        {
          "key_as_string": "2015-10-01T01:00:00.000-01:00",
          "key": 1443664800000,
          "doc_count": 1
        }
      ],
      "interval": "1h"
    }
  }
}

key_as_string 值表示指定时区中每一天的午夜。

当使用遵循 DST(夏令时)变化的时区时,靠近这些变化发生时刻的桶可能比相邻桶的大小略有不同。例如,考虑 CET 时区的 DST 开始:2016 年 3 月 27 日凌晨 2 点,时钟向前拨动了 1 小时,变为当地时间凌晨 3 点。如果聚合的结果是每日桶,则涵盖该天的桶将只包含 23 小时的数据,而不是其他桶的通常 24 小时。对于更短的间隔(例如 12 小时)也是如此。在这里,我们将在 3 月 27 日上午 DST 发生时只有一个 11 小时桶。

最小间隔参数编辑

minimum_interval 允许调用者指定应使用的最小舍入间隔。这可以使收集过程更有效,因为聚合不会尝试以低于 minimum_interval 的任何间隔进行舍入。

minimum_interval 的接受单位为

  • 小时
  • 分钟
response = client.search(
  index: 'sales',
  size: 0,
  body: {
    aggregations: {
      sale_date: {
        auto_date_histogram: {
          field: 'date',
          buckets: 10,
          minimum_interval: 'minute'
        }
      }
    }
  }
)
puts response
POST /sales/_search?size=0
{
  "aggs": {
    "sale_date": {
      "auto_date_histogram": {
        "field": "date",
        "buckets": 10,
        "minimum_interval": "minute"
      }
    }
  }
}

缺失值编辑

missing 参数定义了如何处理缺少值的文档。默认情况下,它们将被忽略,但也可以将它们视为具有值。

response = client.search(
  index: 'sales',
  size: 0,
  body: {
    aggregations: {
      sale_date: {
        auto_date_histogram: {
          field: 'date',
          buckets: 10,
          missing: '2000/01/01'
        }
      }
    }
  }
)
puts response
POST /sales/_search?size=0
{
  "aggs": {
    "sale_date": {
      "auto_date_histogram": {
        "field": "date",
        "buckets": 10,
        "missing": "2000/01/01" 
      }
    }
  }
}

publish_date 字段中没有值的文档将与具有值 2000-01-01 的文档落入同一个桶中。