› ›

摄取处理器参考

一个摄取管道由一系列处理器组成，这些处理器在文档摄取到索引时应用于文档。每个处理器执行特定的任务，例如过滤、转换或丰富数据。

每个后续处理器都依赖于前一个处理器的输出，因此处理器的顺序非常重要。修改后的文档在所有处理器应用后被索引到 Elasticsearch 中。

Elasticsearch 包括 40 多个可配置的处理器。本节中的子页面包含每个处理器的参考文档。要获取可用处理器的列表，请使用节点信息 API。

resp = client.nodes.info(
    node_id="ingest",
    filter_path="nodes.*.ingest.processors",
)
print(resp)

response = client.nodes.info(
  node_id: 'ingest',
  filter_path: 'nodes.*.ingest.processors'
)
puts response

const response = await client.nodes.info({
  node_id: "ingest",
  filter_path: "nodes.*.ingest.processors",
});
console.log(response);

GET _nodes/ingest?filter_path=nodes.*.ingest.processors

我们在此页面上对可用的处理器进行了分类并总结了它们的功能。这将帮助您找到适合您用例的处理器。

有关如何使用enrich处理器在摄取期间将现有索引中的数据添加到传入文档的详细示例，请参阅丰富您的数据。

attachment 处理器: 解析和索引二进制数据，例如 PDF 和 Word 文档。
circle 处理器: 将位置字段转换为 Geo-Point 字段。
community_id 处理器: 计算网络流数据的 Community ID。
fingerprint 处理器: 计算文档内容的哈希值。
geo_grid 处理器: 将网格瓦片或单元格的地理网格定义转换为描述其形状的常规边界框或多边形。
geoip 处理器: 从 Maxmind 数据库添加有关 IPv4 或 IPv6 地址的地理位置信息。
ip_location 处理器: 从 IP 地理位置数据库添加有关 IPv4 或 IPv6 地址的地理位置信息。
network_direction 处理器: 根据源 IP 地址、目标 IP 地址和内部网络列表计算网络方向。
registered_domain 处理器: 从完全限定的域名 (FQDN) 中提取已注册的域（也称为有效的顶级域名或 eTLD）、子域和顶级域名。
set_security_user 处理器: 通过预处理摄取，将来自当前经过身份验证的用户的用户相关详细信息（例如username、roles、email、full_name、metadata、api_key、realm 和 authentication_type）设置到当前文档中。
uri_parts 处理器: 解析统一资源标识符 (URI) 字符串并将其组件提取为对象。
urldecode 处理器: 对字符串进行 URL 解码。
user_agent 处理器: 解析用户代理字符串以提取有关 Web 客户端的信息。

convert 处理器: 将当前摄取的文档中的字段转换为不同的类型，例如将字符串转换为整数。
dissect 处理器: 从文档中的单个文本字段中提取结构化字段。与grok 处理器不同，dissect 不使用正则表达式。这使得 dissect 成为一种更简单且通常更快的替代方案。
grok 处理器: 使用支持可重用别名表达式的Grok正则表达式方言，从文档中的单个文本字段中提取结构化字段。
gsub 处理器: 通过应用正则表达式和替换来转换字符串字段。
redact 处理器: 使用Grok规则引擎来模糊输入文档中与给定 Grok 模式匹配的文本。
rename 处理器: 重命名现有字段。
set 处理器: 在字段上设置值。