› ›

摄取处理器参考

摄取处理器参考编辑

一个摄取管道由一系列处理器组成，这些处理器在文档被摄取到索引时应用于文档。每个处理器执行一项特定任务，例如过滤、转换或丰富数据。

每个后续处理器都依赖于前一个处理器的输出，因此处理器的顺序很重要。在应用所有处理器后，修改后的文档将被索引到 Elasticsearch 中。

Elasticsearch 包含超过 40 个可配置的处理器。本节中的子页面包含每个处理器的参考文档。要获取可用处理器的列表，请使用节点信息 API。

response = client.nodes.info(
  node_id: 'ingest',
  filter_path: 'nodes.*.ingest.processors'
)
puts response

GET _nodes/ingest?filter_path=nodes.*.ingest.processors

我们在本页上对可用的处理器进行了分类，并总结了它们的功能。这将帮助您找到适合您的用例的处理器。

有关如何使用 enrich 处理器在摄取过程中将来自现有索引的数据添加到传入文档的详细示例，请参阅丰富您的数据。

attachment 处理器: 解析和索引二进制数据，例如 PDF 和 Word 文档。
circle 处理器: 将位置字段转换为 Geo-Point 字段。
community_id 处理器: 计算网络流量数据的社区 ID。
fingerprint 处理器: 计算文档内容的哈希值。
geo_grid 处理器: 将网格图块或单元格的网格图定义转换为描述其形状的常规边界框或多边形。
geoip 处理器: 添加有关 IPv4 或 IPv6 地址的地理位置的信息。
network_direction 处理器: 根据源 IP 地址、目标 IP 地址和内部网络列表计算网络方向。
registered_domain 处理器: 从完全限定域名 (FQDN) 中提取注册域名（也称为有效顶级域名或 eTLD）、子域名和顶级域名。
set_security_user 处理器: 通过预处理摄取，将当前经过身份验证的用户相关的详细信息（例如 username、roles、email、full_name、metadata、api_key、realm 和 authentication_type）从当前经过身份验证的用户设置到当前文档。
uri_parts 处理器: 解析统一资源标识符 (URI) 字符串并将其组件提取为对象。
urldecode 处理器: 对字符串进行 URL 解码。
user_agent 处理器: 解析用户代理字符串以提取有关 Web 客户端的信息。

convert 处理器: 将当前摄取文档中的字段转换为不同的类型，例如将字符串转换为整数。
dissect 处理器: 从文档中的单个文本字段中提取结构化字段。与 grok 处理器不同，dissect 不使用正则表达式。这使得 dissect 成为更简单且通常更快的替代方案。
grok 处理器: 使用支持可重用别名表达式的 Grok 正则表达式方言，从文档中的单个文本字段中提取结构化字段。
gsub 处理器: 通过应用正则表达式和替换来转换字符串字段。
redact 处理器: 使用 Grok 规则引擎来模糊输入文档中与给定 Grok 模式匹配的文本。
rename 处理器: 重命名现有字段。
set 处理器: 在字段上设置值。

您可以将其他处理器安装为插件。

您必须在集群中的所有节点上安装任何插件处理器。否则，Elasticsearch 将无法创建包含该处理器的管道。

通过在 elasticsearch.yml 中设置 plugin.mandatory 来将插件标记为必需。如果未安装必需的插件，则节点将无法启动。

plugin.mandatory: my-ingest-plugin