显著词项聚合

与词项聚合不同，当前无法使用脚本生成的词项进行计数。由于 significant_terms 聚合必须同时考虑前景和背景频率的方式，因此在整个索引上使用脚本来获取用于比较的背景频率的成本将高得令人望而却步。此外，由于类似的原因，不支持 DocValues 作为词项数据的来源。

当前不支持浮点字段作为 significant_terms 分析的主题。虽然可以使用整数或长整数字段来表示诸如银行帐号或类别编号之类的概念，这些概念可能很有趣，但浮点字段通常用于表示某些事物的数量。因此，单个浮点词项对于这种形式的频率分析没有用处。

如果存在等效于 match_all 查询或没有提供索引子集的查询条件，则不应将 significant_terms 聚合用作最顶层的聚合 - 在这种情况下，前景集与背景集完全相同，因此没有文档频率的差异可观察，并且从中提出明智的建议。

另一个考虑因素是，significant_terms 聚合会在分片级别生成许多候选结果，这些候选结果仅在所有分片的统计信息合并后才在缩减节点上修剪。因此，在 significant_terms 聚合下嵌入稍后会丢弃许多候选词项的大型子聚合在 RAM 方面可能效率低下且成本高昂。在这些情况下，建议执行两次搜索 - 第一次搜索提供规范化的 significant_terms 列表，然后将此词项短列表添加到第二个查询中以返回并获取所需的子聚合。

结果中提供的包含词项的文档数量的计数基于对每个分片返回的样本求和，因此可能是

像大多数设计决策一样，这是权衡的基础，我们在其中选择提供快速性能，但以一些（通常很小）不准确为代价。但是，下一节中介绍的 size 和 shard size 设置提供了有助于控制准确度级别的工具。

可以通过添加参数将 JLH 分数用作显著性分数

	 "jlh": {
	 }

这些分数来自前景和背景集合中的文档频率。受欢迎程度的绝对变化 (foregroundPercent - backgroundPercent) 会偏向常用词项，而受欢迎程度的相对变化 (foregroundPercent/backgroundPercent) 会偏向罕见词项。罕见与常用本质上是精确率与召回率之间的平衡，因此将绝对变化和相对变化相乘，以在精确率和召回率之间提供最佳点。

“信息检索”Manning 等人第 13.5.1 章中描述的互信息可以用作显著性分数，方法是添加参数

	 "mutual_information": {
	      "include_negatives": true
	 }

互信息不会区分子集的描述性词项或子集外部的文档的描述性词项。因此，显著词项可以包含在子集中或多或少频繁出现的词项。要筛选出在子集中出现频率低于子集外部文档的词项，可以将 include_negatives 设置为 false。

默认情况下，假设存储桶中的文档也包含在背景中。如果改为定义一个自定义背景过滤器来表示您要与之比较的不同文档集，请设置

"background_is_superset": false

“信息检索”Manning 等人第 13.5.2 章中描述的卡方可以用作显著性分数，方法是添加参数

	 "chi_square": {
	 }

卡方的行为类似于互信息，并且可以使用相同的参数 include_negatives 和 background_is_superset 进行配置。

“谷歌相似性距离”Cilibrasi 和 Vitanyi, 2007 中描述的谷歌归一化距离可用于添加参数作为显著性分数

	 "gnd": {
	 }

gnd 还接受 background_is_superset 参数。

一个简单的计算方法是用前景样本中包含某个术语的文档数除以背景中包含该术语的文档数。默认情况下，这会产生一个大于零且小于一的分数。

此启发式方法的好处是，评分逻辑很容易向任何熟悉“人均”统计数据的人解释。但是，对于高基数字段，这种启发式方法倾向于选择最稀有的术语，例如仅出现一次的拼写错误，因为它们的分数为 1/1 = 100%。

如果仅仅根据赢得的比赛的百分比来奖励冠军，那么经验丰富的拳击手很难赢得冠军 - 按照这些规则，一个只有一场比赛的新手是不可能被击败的。通常需要多次观察才能强化一个观点，因此建议在这种情况下将 min_doc_count 和 shard_min_doc_count 都设置为更高的值，例如 10，以便过滤掉那些原本会优先的低频术语。

	 "percentage": {
	 }

粗略地说，mutual_information 倾向于高频术语，即使它们在背景中也很频繁。例如，在自然语言文本分析中，这可能会导致选择停用词。mutual_information 不太可能选择非常罕见的术语，如拼写错误。gnd 倾向于具有高共现性的术语，并避免选择停用词。它可能更适合用于同义词检测。但是，gnd 倾向于选择非常罕见的术语，例如拼写错误的结果。chi_square 和 jlh 则介于两者之间。

很难说哪种不同的启发式方法是最佳选择，因为它取决于显著术语的用途（例如，有关使用显著术语进行文本分类的特征选择的研究，请参阅 Yang 和 Pedersen，“文本分类中特征选择的比较研究”，1997 年）。

如果以上方法都不适合您的用例，那么另一种选择是实现自定义显著性度量。

可以通过脚本实现自定义分数

	    "script_heuristic": {
              "script": {
	        "lang": "painless",
	        "source": "params._subset_freq/(params._superset_freq - params._subset_freq + 1)"
	      }
            }

脚本可以是内联的（如上例所示）、索引的或存储在磁盘上。有关选项的详细信息，请参阅 脚本文档。

脚本中可用的参数为

可以设置 size 参数来定义应从整个术语列表中返回多少个术语桶。默认情况下，协调搜索过程的节点将请求每个分片提供其自己的顶部术语桶，并且一旦所有分片响应，它会将结果减少到最终列表，然后将其返回给客户端。如果唯一术语的数量大于 size，则返回的列表可能会略有偏差且不准确（可能是术语计数略有偏差，甚至可能应该在顶部大小桶中的术语未被返回）。

为了确保更好的准确性，最终 size 的倍数被用作从每个分片请求的术语数量 (2 * (size * 1.5 + 10))。要手动控制此设置，可以使用 shard_size 参数来控制每个分片生成的候选术语的数量。

一旦组合所有结果，低频术语可能会变得最有趣，因此当 shard_size 参数设置为明显高于 size 设置的值时，significant_terms 聚合可以产生更高质量的结果。这确保了在最终选择之前，由减少节点对更大数量的有希望的候选术语进行合并审查。显然，大量的候选术语列表会导致额外的网络流量和 RAM 使用，因此这是一个需要平衡的质量/成本权衡。如果 shard_size 设置为 -1（默认值），则将根据分片数和 size 参数自动估计 shard_size。

可以使用 min_doc_count 选项仅返回匹配超过配置命中数的术语。

resp = client.search(
    aggs={
        "tags": {
            "significant_terms": {
                "field": "tag",
                "min_doc_count": 10
            }
        }
    },
)
print(resp)

response = client.search(
  body: {
    aggregations: {
      tags: {
        significant_terms: {
          field: 'tag',
          min_doc_count: 10
        }
      }
    }
  }
)
puts response

const response = await client.search({
  aggs: {
    tags: {
      significant_terms: {
        field: "tag",
        min_doc_count: 10,
      },
    },
  },
});
console.log(response);

GET /_search
{
  "aggs": {
    "tags": {
      "significant_terms": {
        "field": "tag",
        "min_doc_count": 10
      }
    }
  }
}

以上聚合将仅返回已在 10 次或更多命中中找到的标签。默认值为 3。

得分高的术语将在分片级别收集，并在第二步中与从其他分片收集的术语合并。但是，分片不具有有关全局术语频率的信息。是否将术语添加到候选列表的决定仅取决于使用本地分片频率在分片上计算的分数，而不是单词的全局频率。min_doc_count 标准仅在合并所有分片的本地术语统计信息后应用。在某种程度上，做出将术语添加为候选者的决定，而没有非常*确定*该术语是否会实际达到所需的 min_doc_count。如果低频但高得分的术语填充了候选列表，这可能会导致最终结果中缺少许多（全局）高频术语。为避免这种情况，可以增加 shard_size 参数，以允许分片上有更多候选术语。但是，这会增加内存消耗和网络流量。

参数 shard_min_doc_count 调节分片是否应该相对于 min_doc_count 将术语实际添加到候选列表的*确定性*。仅当术语在集合中的本地分片频率高于 shard_min_doc_count 时，才会考虑这些术语。如果您的字典包含许多低频术语，并且您对这些术语不感兴趣（例如，拼写错误），则可以将 shard_min_doc_count 参数设置为在分片级别过滤掉候选术语，这些术语在合并本地计数后很可能不会达到所需的 min_doc_count。shard_min_doc_count 默认设置为 0，除非您明确设置它，否则无效。

背景术语频率的默认统计信息来源是整个索引，并且可以使用 background_filter 来缩小此范围，以专注于较窄上下文中的显著术语。

resp = client.search(
    query={
        "match": {
            "city": "madrid"
        }
    },
    aggs={
        "tags": {
            "significant_terms": {
                "field": "tag",
                "background_filter": {
                    "term": {
                        "text": "spain"
                    }
                }
            }
        }
    },
)
print(resp)

response = client.search(
  body: {
    query: {
      match: {
        city: 'madrid'
      }
    },
    aggregations: {
      tags: {
        significant_terms: {
          field: 'tag',
          background_filter: {
            term: {
              text: 'spain'
            }
          }
        }
      }
    }
  }
)
puts response

const response = await client.search({
  query: {
    match: {
      city: "madrid",
    },
  },
  aggs: {
    tags: {
      significant_terms: {
        field: "tag",
        background_filter: {
          term: {
            text: "spain",
          },
        },
      },
    },
  },
});
console.log(response);

GET /_search
{
  "query": {
    "match": {
      "city": "madrid"
    }
  },
  "aggs": {
    "tags": {
      "significant_terms": {
        "field": "tag",
        "background_filter": {
          "term": { "text": "spain" }
        }
      }
    }
  }
}

上述过滤器将有助于专注于马德里市特有的术语，而不是揭示诸如“西班牙语”之类的术语，这些术语在整个索引的全球范围内是不寻常的，但在包含“西班牙”一词的文档子集中却很常见。

可以（尽管很少需要）过滤将为其创建存储桶的值。可以使用基于正则表达式字符串或精确术语数组的 include 和 exclude 参数来完成此操作。此功能反映了 术语聚合 文档中描述的功能。