箱线图聚合
编辑箱线图聚合编辑
一个 boxplot 指标聚合，用于计算从聚合文档中提取的数值的箱线图。这些值可以从文档中的特定数值或 直方图字段 生成。
boxplot 聚合返回制作 箱线图 的必要信息：最小值、最大值、中位数、第一四分位数（第 25 个百分位数）和第三四分位数（第 75 个百分位数）值。
语法编辑
一个 boxplot 聚合在孤立状态下看起来像这样
{
"boxplot": {
"field": "load_time"
}
}
让我们看一个代表加载时间的箱线图
response = client.search(
index: 'latency',
body: {
size: 0,
aggregations: {
load_time_boxplot: {
boxplot: {
field: 'load_time'
}
}
}
}
)
puts response
GET latency/_search
{
"size": 0,
"aggs": {
"load_time_boxplot": {
"boxplot": {
"field": "load_time"
}
}
}
}
响应将如下所示
{
...
"aggregations": {
"load_time_boxplot": {
"min": 0.0,
"max": 990.0,
"q1": 167.5,
"q2": 445.0,
"q3": 722.5,
"lower": 0.0,
"upper": 990.0
}
}
}
在这种情况下，上下须值等于最小值和最大值。通常，这些值是 1.5 * IQR 范围，也就是说最接近 q1 - (1.5 * IQR) 和 q3 + (1.5 * IQR) 的值。由于这是一个近似值，因此给定的值可能实际上不是数据中的观察值，但应该在它们的合理误差范围内。虽然箱线图聚合不会直接返回异常值点，但您可以检查 lower > min 或 upper < max 以查看两侧是否存在异常值，然后直接查询它们。
脚本编辑
如果您需要为未完全索引的值创建箱线图，则应该创建一个 运行时字段 并获取该字段的箱线图。例如，如果您的加载时间以毫秒为单位，但您希望以秒为单位计算值，请使用运行时字段将它们转换
response = client.search(
index: 'latency',
body: {
size: 0,
runtime_mappings: {
'load_time.seconds' => {
type: 'long',
script: {
source: "emit(doc['load_time'].value / params.timeUnit)",
params: {
"timeUnit": 1000
}
}
}
},
aggregations: {
load_time_boxplot: {
boxplot: {
field: 'load_time.seconds'
}
}
}
}
)
puts response
GET latency/_search
{
"size": 0,
"runtime_mappings": {
"load_time.seconds": {
"type": "long",
"script": {
"source": "emit(doc['load_time'].value / params.timeUnit)",
"params": {
"timeUnit": 1000
}
}
}
},
"aggs": {
"load_time_boxplot": {
"boxplot": { "field": "load_time.seconds" }
}
}
}
箱线图值通常是近似的编辑
boxplot 指标使用的算法称为 TDigest（由 Ted Dunning 在 使用 T-Digests 计算精确分位数 中引入）。
箱线图与其他百分位数聚合一样，也是 非确定性的。这意味着使用相同的数据可能会得到略微不同的结果。
压缩编辑
近似算法必须在内存利用率和估计精度之间取得平衡。可以使用 compression 参数控制这种平衡
response = client.search(
index: 'latency',
body: {
size: 0,
aggregations: {
load_time_boxplot: {
boxplot: {
field: 'load_time',
compression: 200
}
}
}
}
)
puts response
GET latency/_search
{
"size": 0,
"aggs": {
"load_time_boxplot": {
"boxplot": {
"field": "load_time",
"compression": 200
}
}
}
}
TDigest 算法使用一定数量的“节点”来近似分位数——可用的节点越多，精度越高（并且内存占用越大），与数据量成正比。 compression 参数将节点的最大数量限制为 20 * compression。
因此，通过增加压缩值，您可以提高百分位数的精度，但代价是需要更多内存。较大的压缩值还会使算法变慢，因为底层树数据结构的大小会增加，导致操作成本更高。默认压缩值为 100。
一个“节点”大约使用 32 字节的内存，因此在最坏情况下（大量数据按顺序排序并到达），默认设置将生成一个大小约为 64KB 的 TDigest。在实践中，数据往往更加随机，TDigest 将使用更少的内存。
执行提示编辑
TDigest 的默认实现针对性能进行了优化，可以扩展到数百万甚至数十亿个样本值，同时保持可接受的精度水平（在某些情况下，对于数百万个样本，相对误差接近 1%）。可以通过将参数 execution_hint 设置为值 high_accuracy 来选择使用针对精度优化的实现
response = client.search(
index: 'latency',
body: {
size: 0,
aggregations: {
load_time_boxplot: {
boxplot: {
field: 'load_time',
execution_hint: 'high_accuracy'
}
}
}
}
)
puts response
GET latency/_search
{
"size": 0,
"aggs": {
"load_time_boxplot": {
"boxplot": {
"field": "load_time",
"execution_hint": "high_accuracy"
}
}
}
}
此选项可以提高精度（在某些情况下，对于数百万个样本，相对误差接近 0.01%），但百分位数查询的完成时间将延长 2 倍到 10 倍。
缺失值编辑
missing 参数定义了如何处理缺少值的文档。默认情况下，它们将被忽略，但也可以将它们视为具有值。
response = client.search(
index: 'latency',
body: {
size: 0,
aggregations: {
grade_boxplot: {
boxplot: {
field: 'grade',
missing: 10
}
}
}
}
)
puts response