重要词项聚合

与 terms 聚合不同，目前无法将脚本生成的词项用于计数目的。由于 significant_terms 聚合必须同时考虑*前景*和*背景*频率的方式，因此在整个索引上使用脚本来获取用于比较的背景频率将非常昂贵。出于类似的原因，也不支持将 DocValues 用作词项数据的来源。

目前不支持将浮点字段作为 significant_terms 分析的主题。虽然可以使用整数或长整数字段来表示银行帐号或类别号等概念，这些概念可能很有趣，但浮点字段通常用于表示某物的数量。因此，单个浮点词项对于这种形式的频率分析没有用处。

如果存在等效于 match_all 查询或没有查询条件提供索引子集的情况，则不应将 significant_terms 聚合用作最顶层的聚合 - 在这种情况下，*前景*集与*背景*集完全相同，因此观察到的文档频率没有差异，也无法从中提出合理的建议。

另一个考虑因素是，significant_terms 聚合在分片级别会产生许多候选结果，这些结果只有在合并了来自所有分片的所有统计信息后才会在归约节点上进行修剪。因此，在稍后会丢弃许多候选词项的 significant_terms 聚合下嵌入大型子聚合，在 RAM 方面效率低下且成本高昂。在这些情况下，建议执行两次搜索 - 第一次搜索提供合理化的 significant_terms 列表，然后将此词项候选列表添加到第二个查询中，以返回并获取所需的子聚合。

结果中提供的包含某个词项的文档数量是基于对从每个分片返回的样本求和得出的，因此可能是

与大多数设计决策一样，这是权衡的基础，我们选择以牺牲一些（通常很小）的准确性为代价来提供快速性能。但是，下一节中介绍的 size 和 shard size 设置提供了有助于控制准确性级别的工具。

通过添加参数，可以使用 JLH 分数作为重要性分数

	 "jlh": {
	 }

分数来自*前景*和*背景*集中的文档频率。流行度的*绝对*变化（foregroundPercent - backgroundPercent）有利于常见词项，而流行度的*相对*变化（foregroundPercent/ backgroundPercent）有利于罕见词项。罕见与常见本质上是精度与召回率之间的平衡，因此将绝对变化和相对变化相乘以提供精度和召回率之间的最佳点。

如 Manning 等人合著的《信息检索》第 13.5.1 章中所述，可以通过添加以下参数将互信息用作显著性评分：

	 "mutual_information": {
	      "include_negatives": true
	 }

互信息不会区分对子集或子集外文档具有描述性的词条。 因此，显著词条可能包含在子集中出现频率高于或低于子集外文档的词条。 要筛选出在子集中出现频率低于子集外文档的词条，可以将 include_negatives 设置为 false。

默认情况下，假设存储桶中的文档也包含在背景中。 如果您定义了一个自定义背景过滤器来表示要比较的不同文档集，请设置

"background_is_superset": false

如 Manning 等人合著的《信息检索》第 13.5.2 章中所述，可以通过添加以下参数将卡方用作显著性评分：

	 "chi_square": {
	 }

卡方的行为类似于互信息，并且可以使用相同的参数 include_negatives 和 background_is_superset 进行配置。

可以通过添加以下参数将 Cilibrasi 和 Vitanyi 在 2007 年发表的论文《谷歌相似度距离》（“The Google Similarity Distance”）中所述的谷歌标准化距离用作显著性评分：

	 "gnd": {
	 }

gnd 也接受 background_is_superset 参数。

一个简单的计算方法是，将前景样本中包含某个词条的文档数量除以背景中包含该词条的文档数量。 默认情况下，这会产生一个大于零且小于一的评分。

这种启发式方法的优点是，评分逻辑很容易向熟悉“人均”统计数据的人解释。 但是，对于基数高的字段，这种启发式方法倾向于选择最罕见的词条，例如只出现一次的拼写错误，因为它们的评分为 1/1 = 100%。

如果仅仅根据获胜场次的百分比来评判冠军，那么经验丰富的拳击手将很难赢得冠军——按照这些规则，一个只有一场比赛经验的新人将是不可战胜的。 通常需要多次观察才能强化一种观点，因此建议在这种情况下将 min_doc_count 和 shard_min_doc_count 都设置为更高的值，例如 10，以便过滤掉本来会优先考虑的低频词条。

	 "percentage": {
	 }

粗略地说，mutual_information 偏向于高频词条，即使它们在背景中也经常出现。 例如，在自然语言文本分析中，这可能会导致选择停用词。 mutual_information 不太可能选择非常罕见的词条，例如拼写错误。 gnd 偏向于共现率高的词条，并避免选择停用词。 它可能更适合于同义词检测。 但是，gnd 倾向于选择非常罕见的词条，例如拼写错误的结果。 chi_square 和 jlh 介于两者之间。

很难说哪一种启发式方法是最佳选择，因为它取决于显著词条的用途（例如，有关使用显著词条进行文本分类特征选择的研，请参见 Yang 和 Pedersen 在 1997 年发表的论文 “A Comparative Study on Feature Selection in Text Categorization”）。

如果上述指标都不适合您的用例，那么另一种选择是实现自定义显著性指标

可以通过脚本实现自定义评分

	    "script_heuristic": {
              "script": {
	        "lang": "painless",
	        "source": "params._subset_freq/(params._superset_freq - params._subset_freq + 1)"
	      }
            }

脚本可以是内联的（如上例所示）、索引的或存储在磁盘上的。 有关选项的详细信息，请参阅脚本文档。

脚本中可用的参数有

可以设置 size 参数来定义从总体词条列表中返回多少个词条存储桶。 默认情况下，协调搜索过程的节点将请求每个分片提供其自己的顶级词条存储桶，并且一旦所有分片都响应，它将把结果缩减为最终列表，然后将其返回给客户端。 如果唯一词条的数量大于 size，则返回的列表可能会略有不准确（词条计数可能会略有不准确，甚至可能导致应该位于顶级 size 存储桶中的词条未返回）。

为了确保更高的准确性，最终 size 的倍数将用作从每个分片请求的词条数量（2 * (size * 1.5 + 10)）。 要手动控制此设置，可以使用 shard_size 参数来控制每个分片生成的候选词条的数量。

一旦合并所有结果，低频词条可能会成为最有趣的词条，因此当 shard_size 参数设置为明显高于 size 设置的值时，significant_terms 聚合可以产生更高质量的结果。 这可以确保在最终选择之前，归约节点会对更大范围的有希望的候选词条进行综合审查。 显然，大型候选词条列表会导致额外的网络流量和 RAM 使用量，因此需要权衡质量/成本之间的关系。 如果将 shard_size 设置为 -1（默认值），则将根据分片数量和 size 参数自动估算 shard_size。

可以使用 min_doc_count 选项仅返回匹配次数超过配置值的词条

response = client.search(
  body: {
    aggregations: {
      tags: {
        significant_terms: {
          field: 'tag',
          min_doc_count: 10
        }
      }
    }
  }
)
puts response

GET /_search
{
  "aggs": {
    "tags": {
      "significant_terms": {
        "field": "tag",
        "min_doc_count": 10
      }
    }
  }
}

上述聚合将仅返回在 10 个或更多匹配中找到的标签。 默认值为 3。

评分较高的词条将在分片级别收集，并在第二步中与从其他分片收集的词条合并。 但是，分片没有关于全局词条频率的可用信息。 是否将词条添加到候选列表的决定仅取决于使用本地分片频率（而不是词条的全局频率）在分片上计算的评分。 min_doc_count 条件仅在合并所有分片的本地词条统计信息后应用。 在某种程度上，决定将词条添加为候选词条时，并没有非常 *确定* 该词条是否真的能达到所需的 min_doc_count。 如果低频但评分高的词条填充了候选列表，则这可能会导致最终结果中缺少许多（全局）高频词条。 为了避免这种情况，可以增加 shard_size 参数，以便在分片上允许更多候选词条。 但是，这会增加内存消耗和网络流量。

参数 shard_min_doc_count 控制分片对词条是否真的应该添加到候选列表中的 *确定性*（相对于 min_doc_count）。 仅当词条在集合中的本地分片频率高于 shard_min_doc_count 时，才会考虑该词条。 如果您的字典包含许多低频词条，并且您对这些词条不感兴趣（例如拼写错误），则可以设置 shard_min_doc_count 参数，以便在分片级别过滤掉即使在合并本地计数后也合理确定无法达到所需 min_doc_count 的候选词条。 默认情况下，shard_min_doc_count 设置为 0，除非您显式设置它，否则它不会生效。

背景词频统计信息的默认来源是整个索引，可以通过使用 background_filter 来缩小此范围，以关注较窄上下文中的重要词。

response = client.search(
  body: {
    query: {
      match: {
        city: 'madrid'
      }
    },
    aggregations: {
      tags: {
        significant_terms: {
          field: 'tag',
          background_filter: {
            term: {
              text: 'spain'
            }
          }
        }
      }
    }
  }
)
puts response

GET /_search
{
  "query": {
    "match": {
      "city": "madrid"
    }
  },
  "aggs": {
    "tags": {
      "significant_terms": {
        "field": "tag",
        "background_filter": {
          "term": { "text": "spain" }
        }
      }
    }
  }
}

上面的过滤器将有助于关注马德里市特有的词汇，而不是像“西班牙语”这样的词汇，这些词汇在整个索引的全球范围内并不常见，但在包含“西班牙”一词的文档子集中很常见。

可以（尽管很少需要）过滤将为其创建桶的值。这可以使用 include 和 exclude 参数来完成，这些参数基于正则表达式字符串或精确词数组。此功能反映了词条聚合文档中描述的功能。