使用 ES|QL 查询多个索引
编辑使用 ES|QL 查询多个索引
编辑使用 ES|QL,您可以对多个索引、数据流或别名执行单个查询。为此,请使用通配符和日期算术。以下示例使用逗号分隔列表和通配符
FROM employees-00001,other-employees-*
使用格式 <远程集群名称>:<目标>
来 查询远程集群上的数据流和索引
FROM cluster_one:employees-00001,cluster_two:other-employees-*
字段类型不匹配
编辑查询多个索引、数据流或别名时,您可能会发现同一字段映射到多种不同类型。例如,考虑具有以下字段映射的两个索引:
索引:events_ip
{ "mappings": { "properties": { "@timestamp": { "type": "date" }, "client_ip": { "type": "ip" }, "event_duration": { "type": "long" }, "message": { "type": "keyword" } } } }
索引:events_keyword
{ "mappings": { "properties": { "@timestamp": { "type": "date" }, "client_ip": { "type": "keyword" }, "event_duration": { "type": "long" }, "message": { "type": "keyword" } } } }
当您使用简单的查询(例如 FROM events_ip
)单独查询每个索引时,结果将以特定于类型的列提供
FROM events_ip | SORT @timestamp DESC
@timestamp:日期 | client_ip:ip | event_duration:长整型 | message:keyword |
---|---|---|---|
2023-10-23T13:55:01.543Z |
172.21.3.15 |
1756467 |
已连接到 10.1.0.1 |
2023-10-23T13:53:55.832Z |
172.21.3.15 |
5033755 |
连接错误 |
2023-10-23T13:52:55.015Z |
172.21.3.15 |
8268153 |
连接错误 |
请注意,client_ip
列被正确识别为 ip
类型,并且显示所有值。但是,如果查询改为使用 FROM events_*
来源两个冲突的索引,则无法确定 client_ip
列的类型,并将其报告为 不支持
,所有值都返回为 null
。
FROM events_* | SORT @timestamp DESC
@timestamp:日期 | client_ip:不支持 | event_duration:长整型 | message:keyword |
---|---|---|---|
2023-10-23T13:55:01.543Z |
null |
1756467 |
已连接到 10.1.0.1 |
2023-10-23T13:53:55.832Z |
null |
5033755 |
连接错误 |
2023-10-23T13:52:55.015Z |
null |
8268153 |
连接错误 |
2023-10-23T13:51:54.732Z |
null |
725448 |
连接错误 |
2023-10-23T13:33:34.937Z |
null |
1232382 |
已断开连接 |
2023-10-23T12:27:28.948Z |
null |
2764889 |
已连接到 10.1.0.2 |
2023-10-23T12:15:03.360Z |
null |
3450233 |
已连接到 10.1.0.3 |
此外,如果查询直接引用此不受支持的字段,则查询将失败
FROM events_* | SORT client_ip DESC
Cannot use field [client_ip] due to ambiguities being mapped as [2] incompatible types: [ip] in [events_ip], [keyword] in [events_keyword]
联合类型
编辑此功能处于技术预览阶段,可能会在将来的版本中更改或删除。Elastic 将致力于修复任何问题,但技术预览中的功能不受官方 GA 功能的支持 SLA 的约束。
ES|QL 有一种方法可以处理 字段类型不匹配。当同一字段在多个索引中映射到多种类型时,该字段的类型被理解为索引映射中各种类型的联合。如前面的示例所示,此联合类型不能用于结果,也不能被查询引用,除非在 KEEP
、DROP
中,或者当它传递给接受联合中所有类型并将其转换为单个类型的类型转换函数时。ES|QL 提供了一套 类型转换函数 来实现此目的。
在上面的示例中,查询可以使用 EVAL client_ip = TO_IP(client_ip)
之类的命令将 ip
和 keyword
的联合解析为仅 ip
。您还可以使用类型转换语法 EVAL client_ip = client_ip::IP
。或者,查询可以使用 TO_STRING
将所有受支持的类型转换为 KEYWORD
。
例如,返回 client_ip:不支持
和 null
值的 查询 可以使用 TO_IP
函数或等效的 field::ip
语法进行改进。这些更改还解决了错误消息。只要对原始字段的唯一引用是将其传递给解决类型歧义的转换函数,就不会出现错误。
FROM events_* | EVAL client_ip = TO_IP(client_ip) | KEEP @timestamp, client_ip, event_duration, message | SORT @timestamp DESC
@timestamp:日期 | client_ip:ip | event_duration:长整型 | message:keyword |
---|---|---|---|
2023-10-23T13:55:01.543Z |
172.21.3.15 |
1756467 |
已连接到 10.1.0.1 |
2023-10-23T13:53:55.832Z |
172.21.3.15 |
5033755 |
连接错误 |
2023-10-23T13:52:55.015Z |
172.21.3.15 |
8268153 |
连接错误 |
2023-10-23T13:51:54.732Z |
172.21.3.15 |
725448 |
连接错误 |
2023-10-23T13:33:34.937Z |
172.21.0.5 |
1232382 |
已断开连接 |
2023-10-23T12:27:28.948Z |
172.21.2.113 |
2764889 |
已连接到 10.1.0.2 |
2023-10-23T12:15:03.360Z |
172.21.2.162 |
3450233 |
已连接到 10.1.0.3 |
索引元数据
编辑了解每行数据的来源索引可能很有帮助。要获取此信息,请在 FROM
命令上使用 METADATA
选项。
FROM events_* METADATA _index | EVAL client_ip = TO_IP(client_ip) | KEEP _index, @timestamp, client_ip, event_duration, message | SORT @timestamp DESC
_index:keyword | @timestamp:日期 | client_ip:ip | event_duration:长整型 | message:keyword |
---|---|---|---|---|
events_ip |
2023-10-23T13:55:01.543Z |
172.21.3.15 |
1756467 |
已连接到 10.1.0.1 |
events_ip |
2023-10-23T13:53:55.832Z |
172.21.3.15 |
5033755 |
连接错误 |
events_ip |
2023-10-23T13:52:55.015Z |
172.21.3.15 |
8268153 |
连接错误 |
events_keyword |
2023-10-23T13:51:54.732Z |
172.21.3.15 |
725448 |
连接错误 |
events_keyword |
2023-10-23T13:33:34.937Z |
172.21.0.5 |
1232382 |
已断开连接 |
events_keyword |
2023-10-23T12:27:28.948Z |
172.21.2.113 |
2764889 |
已连接到 10.1.0.2 |
events_keyword |
2023-10-23T12:15:03.360Z |
172.21.2.162 |
3450233 |
已连接到 10.1.0.3 |