« Anomali 集成 自定义威胁情报集成 »
Elastic 文档 ›Elastic 集成 ›威胁情报

集体情报框架 v3 集成

编辑

集体情报框架 v3 集成

编辑

版本

1.16.0 (查看全部)

兼容的 Kibana 版本

8.13.0 或更高版本

支持的无服务器项目类型
这是什么？

安全性
可观测性

订阅级别
这是什么？

基本

支持级别
这是什么？

社区

此集成与正在运行的 CIFv3 实例中的 REST API连接，以检索指标。

入侵指标 (IOC) 的过期

编辑

指标在一定持续时间后过期。为源索引创建一个 Elastic Transform，以允许最终用户仅使用活跃指标。该转换创建一个名为 logs-ti_cif3_latest.dest_feed* 的目标索引，其中仅包含活跃且未过期的指标。目标索引被别名为 logs-ti_cif3_latest.feed。指标匹配规则和仪表板会更新，以仅显示活跃指标。

指标类型 指标过期持续时间

ipv4-addr

45 天

ipv6-addr

45 天

domain-name

90 天

url

365 天

file

365 天

所有其他类型

从 IOC 过期持续时间 设置派生
ILM 策略
编辑

为了方便 IOC 过期，允许以数据流为后盾的源索引 .ds-logs-ti_cif3.feed-* 包含重复项。将 ILM 策略 logs-ti_cif3.feed-default_policy 添加到这些源索引，这样就不会导致无限制的增长。这意味着这些源索引中的数据将在摄取日期后 5 天 被删除。

数据流

编辑
Feed
编辑

CIFv3 集成会根据用户定义的配置收集威胁指标，包括轮询间隔、应回溯的时间以及其他过滤器（例如指标类型和标签）。

CIFv3 信心字段值 (0..10) 按以下方式转换为 ECS 信心（无、低、中、高）

CIFv3 信心 ECS 转换

超出范围

无

0 - <3

低

3 - <7

中

7 - 10

高
导出的字段
字段 描述 类型

@timestamp

事件时间戳。

日期

cif3.application

指标使用的应用程序，例如 telnet 或 ssh。

关键词

cif3.asn

IP 的 AS 号。

整数

cif3.asn_desc

AS 号组织名称。

关键词

cif3.cc

GeoIP 的国家/地区代码。

关键词

cif3.city

GeoIP 城市信息。

关键词

cif3.confidence

标签适当情境化指标的 0-10 分制信心。

浮点数

cif3.count

同一提供商使用相同元数据报告同一指标的次数。

整数

cif3.deleted_at

指标过期时间戳。

日期

cif3.description

指标的描述。

关键词

cif3.expiration_duration

配置的过期持续时间。

关键词

cif3.indicator

指标的值，例如，如果类型为 fqdn，则这将是该值。

关键词

cif3.indicator_iprange

IPv4 或 IPv6 IP 范围。

ip_range

cif3.indicator_ipv4

IPv4 地址。

ip

cif3.indicator_ipv4_mask

IPv4 CIDR 的子网掩码。

整数

cif3.indicator_ipv6

单例 IPv6 地址。

关键词

cif3.indicator_ipv6_mask

IPv6 CIDR 的子网掩码。

整数

cif3.indicator_ssdeep_chunk

SSDEEP 哈希块。

文本

cif3.indicator_ssdeep_chunksize

SSDEEP 哈希块大小。

整数

cif3.indicator_ssdeep_double_chunk

SSDEEP 哈希双块。

文本

cif3.itype

指标类型，例如可以是“ipv4、fqdn、email、url、sha256”。

关键词

cif3.latitude

GeoIP 的纬度。

关键词

cif3.location

GeoIP 的经/纬度。

地理点

cif3.longitude

GeoIP 的经度。

关键词

cif3.portlist

指标使用的端口或端口范围。

文本

cif3.protocol

指标使用的协议。

文本

cif3.provider

指标信息的来源。

关键词

cif3.rdata

与指标相关的额外文本或描述性内容，例如 OS、反向查找等。

关键词

cif3.reference

包含与指标相关的更多信息的参考 URL。

关键词

cif3.region

GeoIP 区域信息。

关键词

cif3.tags

描述指标的以逗号分隔的词列表，例如“恶意软件、漏洞利用”。

关键词

cif3.timezone

GeoIP 的时区。

文本

cif3.uuid

指标的 ID。

关键词

data_stream.dataset

数据流数据集。

常量关键字

data_stream.namespace

数据流命名空间。

常量关键字

data_stream.type

数据流类型。

常量关键字

event.dataset

事件数据集

常量关键字

event.module

此数据来自的模块的名称。

常量关键字

input.type

Filebeat 输入的类型。

关键词

labels.is_ioc_transform_source

指示 IOC 是在原始源数据流中，还是在最新的目标索引中。

常量关键字

log.flags

日志文件的标志。

关键词

log.offset

日志文件中条目的偏移量。

长整型

threat.feed.name

显示友好的 Feed 名称

常量关键字

threat.indicator.first_seen

情报来源首次报告发现此指标的日期和时间。

日期

threat.indicator.last_seen

情报来源上次报告发现此指标的日期和时间。

日期

threat.indicator.modified_at

情报来源上次修改此指标信息的日期和时间。

日期

threat.indicator.tls.client.ja3

根据客户端的 TLS 握手识别客户端的 md5 哈希。

关键词
示例

feed 的示例事件如下所示

{
    "@timestamp": "2024-08-01T08:05:14.040Z",
    "agent": {
        "ephemeral_id": "b351d699-2fd0-49f7-99e1-a7a471a29a62",
        "id": "36b03887-7783-4bc4-b8c5-6f8997e4cd1a",
        "name": "docker-fleet-agent",
        "type": "filebeat",
        "version": "8.13.0"
    },
    "cif3": {
        "deleted_at": "2022-09-03T20:25:53.000Z",
        "expiration_duration": "45d",
        "indicator": "20.206.75.106",
        "itype": "ipv4",
        "portlist": "443",
        "uuid": "ac240898-1443-4d7e-a98a-1daed220c162"
    },
    "data_stream": {
        "dataset": "ti_cif3.feed",
        "namespace": "26457",
        "type": "logs"
    },
    "ecs": {
        "version": "8.11.0"
    },
    "elastic_agent": {
        "id": "36b03887-7783-4bc4-b8c5-6f8997e4cd1a",
        "snapshot": false,
        "version": "8.13.0"
    },
    "event": {
        "agent_id_status": "verified",
        "category": [
            "threat"
        ],
        "created": "2024-08-01T08:05:14.040Z",
        "dataset": "ti_cif3.feed",
        "ingested": "2024-08-01T08:05:26Z",
        "kind": "enrichment",
        "original": "{\"application\":\"https\",\"asn\":8075,\"asn_desc\":\"microsoft-corp-msn-as-block\",\"cc\":\"br\",\"city\":\"campinas\",\"confidence\":10,\"count\":1,\"firsttime\":\"2022-07-20T20:25:53.000000Z\",\"group\":[\"everyone\"],\"indicator\":\"20.206.75.106\",\"indicator_ipv4\":\"20.206.75.106\",\"itype\":\"ipv4\",\"lasttime\":\"2022-07-20T20:25:53.000000Z\",\"latitude\":-22.9035,\"location\":[-47.0565,-22.9035],\"longitude\":-47.0565,\"portlist\":\"443\",\"protocol\":\"tcp\",\"provider\":\"sslbl.abuse.ch\",\"reference\":\"https://sslbl.abuse.ch/blacklist/sslipblacklist.csv\",\"region\":\"sao paulo\",\"reporttime\":\"2022-07-21T20:33:26.585967Z\",\"tags\":[\"botnet\"],\"timezone\":\"america/sao_paulo\",\"tlp\":\"white\",\"uuid\":\"ac240898-1443-4d7e-a98a-1daed220c162\"}",
        "type": [
            "indicator"
        ]
    },
    "input": {
        "type": "httpjson"
    },
    "network": {
        "protocol": "https",
        "transport": "tcp"
    },
    "related": {
        "ip": [
            "20.206.75.106"
        ]
    },
    "tags": [
        "preserve_original_event",
        "forwarded",
        "cif3-indicator",
        "botnet"
    ],
    "threat": {
        "indicator": {
            "as": {
                "number": 8075,
                "organization": {
                    "name": "microsoft-corp-msn-as-block"
                }
            },
            "confidence": "High",
            "first_seen": "2022-07-20T20:25:53.000Z",
            "geo": {
                "country_iso_code": "br",
                "location": {
                    "lat": -22.9035,
                    "lon": -47.0565
                },
                "region_name": "sao paulo",
                "timezone": "america/sao_paulo"
            },
            "ip": "20.206.75.106",
            "last_seen": "2022-07-20T20:25:53.000Z",
            "marking": {
                "tlp": "WHITE"
            },
            "modified_at": "2022-07-21T20:33:26.585967Z",
            "name": "20.206.75.106",
            "provider": "sslbl.abuse.ch",
            "reference": "https://sslbl.abuse.ch/blacklist/sslipblacklist.csv",
            "sightings": 1,
            "type": "ipv4-addr"
        }
    }
}

更新日志

编辑
更新日志
版本 详细信息 Kibana 版本

1.16.0

增强 (查看拉取请求)
不要在主摄取管道中删除 event.original。

8.13.0 或更高版本

1.15.0

增强 (查看拉取请求)
向 event.kind 设置为“pipeline_error”的文档添加“preserve_original_event”标记。

8.13.0 或更高版本

1.14.4

Bug 修复 (查看拉取请求)
在引用摄取管道中的变量时，使用三花括号 Mustache 模板。

8.13.0 或更高版本

1.14.3

Bug 修复 (查看拉取请求)
修复 labels.is_ioc_transform_source 值

8.13.0 或更高版本

1.14.2

Bug 修复 (查看拉取请求)
在转换中添加缺失的字段

8.13.0 或更高版本

1.14.1

Bug 修复 (查看拉取请求)
修复威胁字段的 ECS 日期映射。

8.13.0 或更高版本

1.14.0

增强 (查看拉取请求)
将 kibana 约束更新为 ^8.13.0。修改了字段定义，以删除 ecs@mappings 组件模板使冗余的 ECS 字段。

8.13.0 或更高版本

1.13.1

Bug 修复 (查看拉取请求)
调整转换目标索引的字段映射。

8.12.0 或更高版本

1.13.0

增强 (查看拉取请求)
改进空响应的处理。

8.12.0 或更高版本

1.12.0

增强 (查看拉取请求)
支持 IOC 过期

8.12.0 或更高版本

1.11.0

增强 (查看拉取请求)
将敏感值设置为机密值。

8.12.0 或更高版本

1.10.2

Bug 修复 (查看拉取请求)
清除 null 处理

8.7.1 或更高版本

1.10.1

增强 (查看拉取请求)
更改了所有者

8.7.1 或更高版本

1.10.0

增强 (查看拉取请求)
将请求跟踪器日志计数限制为 5 个。

8.7.1 或更高版本

1.9.0

增强 (查看拉取请求)
ECS 版本已更新至 8.11.0。

8.7.1 或更高版本

1.8.0

增强 (查看拉取请求)
设置社区所有者类型。

8.7.1 或更高版本

1.7.0

增强 (查看拉取请求)
ECS 版本已更新至 8.10.0。

8.7.1 或更高版本

1.6.0

增强 (查看拉取请求)
程序包清单中的 format_version 从 2.11.0 更改为 3.0.0。从程序包清单中删除点分隔的 YAML 键。向程序包清单添加了owner.type: elastic。

8.7.1 或更高版本

1.5.0

增强 (查看拉取请求)
添加 tags.yml 文件，以便使用“安全解决方案”标记集成的仪表板和保存的搜索，并在安全解决方案 UI 中显示。

8.7.1 或更高版本

1.4.0

增强 (查看拉取请求)
将 package-spec 更新到 2.9.0。

8.7.1 或更高版本

1.3.0

增强 (查看拉取请求)
将程序包更新到 ECS 8.9.0。

8.7.1 或更高版本

1.2.0

增强 (查看拉取请求)
文档时长单位。

8.7.1 或更高版本

1.1.0

增强 (查看拉取请求)
文档有效时长单位。

8.7.1 或更高版本

1.0.0

增强 (查看拉取请求)
发布集体智能框架为 GA 版本。

8.7.1 或更高版本

0.8.0

增强 (查看拉取请求)
确保管道错误正确设置 event.kind。

—

0.7.0

增强 (查看拉取请求)
更新软件包至 ECS 8.8.0。

—

0.6.0

增强 (查看拉取请求)
添加一个新标志以启用请求跟踪

—

0.5.0

增强 (查看拉取请求)
更新软件包至 ECS 8.7.0。

—

0.4.1

增强 (查看拉取请求)
遵守 preserve_original_event 设置。

—

0.4.0

增强 (查看拉取请求)
更新软件包至 ECS 8.6.0。

—

0.3.1

错误修复 (查看拉取请求)
使用 ECS 定义 threat.indicator.geo.location。

—

0.3.0

增强 (查看拉取请求)
更新软件包至 ECS 8.5.0。

—

0.2.2

错误修复 (查看拉取请求)
删除重复字段。

—

0.2.1

增强 (查看拉取请求)
修复文档构建错误

—

0.2.0

增强 (查看拉取请求)
使用威胁情报类别进行标记

—

0.1.0

增强 (查看拉取请求)
软件包的初始草案

—
« Anomali 集成 自定义威胁情报集成 »