Recorded Future 集成

编辑

Recorded Future 集成

编辑

版本

1.28.0 (查看全部)

兼容的 Kibana 版本

8.13.0 或更高版本

支持的无服务器项目类型
这是什么?

安全性
可观测性

订阅级别
这是什么?

基本

支持级别
这是什么?

Elastic

Recorded Future 集成从 Recorded Future API 获取风险列表。它支持 domainhashipurl 实体。

为了使用它,您需要定义要获取的 entitylist。请与 Recorded Future 核对每个实体可用的列表。要从多个实体获取指标,必须为每个实体定义一个集成。

或者,也可以通过提供 CSV 文件的 URL 作为自定义 URL 配置选项,使用集成来获取自定义 Fusion 文件。

入侵指标 (IOC) 的过期
编辑

摄取的 IOC 在特定持续时间后过期。创建了一个 Elastic Transform,以方便最终用户仅使用活跃的 IOC。此转换创建一个名为 logs-ti_recordedfuture_latest.threat-1 的目标索引,其中仅包含活跃且未过期的 IOC。目标索引还具有别名 logs-ti_recordedfuture_latest.threat。设置指标匹配规则时,请使用此最新的目标索引,以避免因过期的 IOC 产生误报。请阅读下面的 ILM 策略,该策略旨在避免源 .ds-logs-ti_recordedfuture.threat-* 索引的无限制增长。

ILM 策略
编辑

为了方便 IOC 过期,允许源数据流支持的索引 .ds-logs-ti_recordedfuture.threat-* 包含来自每个轮询间隔的重复项。将 ILM 策略添加到这些源索引,这样就不会导致无限制的增长。这意味着这些源索引中的数据将在摄入日期后 5 天删除。

对于大型风险列表下载,请调整超时设置,以便 Agent 有足够的时间下载和处理风险列表。

示例

针对 threat 的示例事件如下所示

{
    "@timestamp": "2024-08-02T06:24:04.201Z",
    "agent": {
        "ephemeral_id": "25d7a936-2b7c-4476-9181-82d1296ce9df",
        "id": "8299ae35-ee0e-4107-9acb-1b6acfdda1fb",
        "name": "docker-fleet-agent",
        "type": "filebeat",
        "version": "8.13.0"
    },
    "data_stream": {
        "dataset": "ti_recordedfuture.threat",
        "namespace": "67234",
        "type": "logs"
    },
    "ecs": {
        "version": "8.11.0"
    },
    "elastic_agent": {
        "id": "8299ae35-ee0e-4107-9acb-1b6acfdda1fb",
        "snapshot": false,
        "version": "8.13.0"
    },
    "event": {
        "agent_id_status": "verified",
        "category": [
            "threat"
        ],
        "created": "2024-08-02T06:24:04.201Z",
        "dataset": "ti_recordedfuture.threat",
        "ingested": "2024-08-02T06:24:16Z",
        "kind": "enrichment",
        "original": "{\"EvidenceDetails\":\"{\\\"EvidenceDetails\\\": [{\\\"Name\\\": \\\"suspectedCncDnsName\\\", \\\"EvidenceString\\\": \\\"1 sighting on 1 source: ThreatFox Infrastructure Analysis. ThreatFox identified ubykou33.top as possible TA0011 (Command and Control) for CryptBot on December 26, 2023. Most recent link (Dec 26, 2023): https://threatfox.abuse.ch/ioc/1223634\\\", \\\"CriticalityLabel\\\": \\\"Unusual\\\", \\\"MitigationString\\\": \\\"\\\", \\\"Rule\\\": \\\"Historical Suspected C\\\\\u0026C DNS Name\\\", \\\"SourcesCount\\\": 1.0, \\\"Sources\\\": [\\\"source:sIoEOQ\\\"], \\\"Timestamp\\\": \\\"2023-12-26T17:06:29.000Z\\\", \\\"SightingsCount\\\": 1.0, \\\"Criticality\\\": 1.0}, {\\\"Name\\\": \\\"malwareSiteDetected\\\", \\\"EvidenceString\\\": \\\"2 sightings on 2 sources: External Sensor Data Analysis, Bitdefender. ubykou33.top is observed to be a malware site domain that navigates to malicious content including executables, drive-by infection sites, malicious scripts, viruses, trojans, or code.\\\", \\\"CriticalityLabel\\\": \\\"Unusual\\\", \\\"MitigationString\\\": \\\"\\\", \\\"Rule\\\": \\\"Historically Detected Malware Operation\\\", \\\"SourcesCount\\\": 2.0, \\\"Sources\\\": [\\\"source:kBB1fk\\\", \\\"source:d3Awkm\\\"], \\\"Timestamp\\\": \\\"2024-01-26T00:00:00.000Z\\\", \\\"SightingsCount\\\": 2.0, \\\"Criticality\\\": 1.0}, {\\\"Name\\\": \\\"malwareSiteSuspected\\\", \\\"EvidenceString\\\": \\\"1 sighting on 1 source: Bitdefender. Detected malicious behavior from an endpoint agent via global telemetry. Last observed on Jan 26, 2024.\\\", \\\"CriticalityLabel\\\": \\\"Unusual\\\", \\\"MitigationString\\\": \\\"\\\", \\\"Rule\\\": \\\"Historically Suspected Malware Operation\\\", \\\"SourcesCount\\\": 1.0, \\\"Sources\\\": [\\\"source:d3Awkm\\\"], \\\"Timestamp\\\": \\\"2024-01-26T00:00:00.000Z\\\", \\\"SightingsCount\\\": 1.0, \\\"Criticality\\\": 1.0}, {\\\"Name\\\": \\\"recentMalwareSiteDetected\\\", \\\"EvidenceString\\\": \\\"1 sighting on 1 source: External Sensor Data Analysis. ubykou33.top is observed to be a malware site domain that navigates to malicious content including executables, drive-by infection sites, malicious scripts, viruses, trojans, or code.\\\", \\\"CriticalityLabel\\\": \\\"Malicious\\\", \\\"MitigationString\\\": \\\"\\\", \\\"Rule\\\": \\\"Recently Detected Malware Operation\\\", \\\"SourcesCount\\\": 1.0, \\\"Sources\\\": [\\\"source:kBB1fk\\\"], \\\"Timestamp\\\": \\\"2024-05-08T23:11:43.601Z\\\", \\\"SightingsCount\\\": 1.0, \\\"Criticality\\\": 3.0}]}\",\"Name\":\"ubykou33.top\",\"Risk\":\"67\",\"RiskString\":\"4/52\"}",
        "risk_score": 67,
        "type": [
            "indicator"
        ]
    },
    "input": {
        "type": "httpjson"
    },
    "recordedfuture": {
        "evidence_details": [
            {
                "criticality": 1,
                "criticality_label": "Unusual",
                "evidence_string": "1 sighting on 1 source: ThreatFox Infrastructure Analysis. ThreatFox identified ubykou33.top as possible TA0011 (Command and Control) for CryptBot on December 26, 2023. Most recent link (Dec 26, 2023): https://threatfox.abuse.ch/ioc/1223634",
                "mitigation_string": "",
                "name": "suspectedCncDnsName",
                "rule": "Historical Suspected C&C DNS Name",
                "sightings_count": 1,
                "sources": [
                    "source:sIoEOQ"
                ],
                "sources_count": 1,
                "timestamp": "2023-12-26T17:06:29.000Z"
            },
            {
                "criticality": 1,
                "criticality_label": "Unusual",
                "evidence_string": "2 sightings on 2 sources: External Sensor Data Analysis, Bitdefender. ubykou33.top is observed to be a malware site domain that navigates to malicious content including executables, drive-by infection sites, malicious scripts, viruses, trojans, or code.",
                "mitigation_string": "",
                "name": "malwareSiteDetected",
                "rule": "Historically Detected Malware Operation",
                "sightings_count": 2,
                "sources": [
                    "source:kBB1fk",
                    "source:d3Awkm"
                ],
                "sources_count": 2,
                "timestamp": "2024-01-26T00:00:00.000Z"
            },
            {
                "criticality": 1,
                "criticality_label": "Unusual",
                "evidence_string": "1 sighting on 1 source: Bitdefender. Detected malicious behavior from an endpoint agent via global telemetry. Last observed on Jan 26, 2024.",
                "mitigation_string": "",
                "name": "malwareSiteSuspected",
                "rule": "Historically Suspected Malware Operation",
                "sightings_count": 1,
                "sources": [
                    "source:d3Awkm"
                ],
                "sources_count": 1,
                "timestamp": "2024-01-26T00:00:00.000Z"
            },
            {
                "criticality": 3,
                "criticality_label": "Malicious",
                "evidence_string": "1 sighting on 1 source: External Sensor Data Analysis. ubykou33.top is observed to be a malware site domain that navigates to malicious content including executables, drive-by infection sites, malicious scripts, viruses, trojans, or code.",
                "mitigation_string": "",
                "name": "recentMalwareSiteDetected",
                "rule": "Recently Detected Malware Operation",
                "sightings_count": 1,
                "sources": [
                    "source:kBB1fk"
                ],
                "sources_count": 1,
                "timestamp": "2024-05-08T23:11:43.601Z"
            }
        ],
        "list": "test",
        "name": "ubykou33.top",
        "risk_string": "4/52"
    },
    "tags": [
        "preserve_original_event",
        "forwarded",
        "recordedfuture"
    ],
    "threat": {
        "feed": {
            "name": "Recorded Future"
        },
        "indicator": {
            "provider": [
                "ThreatFox Infrastructure Analysis",
                "External Sensor Data Analysis",
                "Bitdefender"
            ],
            "scanner_stats": 5,
            "sightings": 5,
            "type": "domain-name",
            "url": {
                "domain": "ubykou33.top"
            }
        }
    }
}
导出的字段
字段 描述 类型

@timestamp

事件时间戳。

date

cloud.image.id

云实例的镜像 ID。

keyword

data_stream.dataset

数据流数据集名称。

constant_keyword

data_stream.namespace

数据流命名空间。

constant_keyword

data_stream.type

数据流类型。

constant_keyword

event.dataset

事件数据集

constant_keyword

event.module

事件模块

constant_keyword

host.containerized

主机是否为容器。

boolean

host.os.build

操作系统构建信息。

keyword

host.os.codename

操作系统代号(如果有)。

keyword

input.type

Filebeat 输入类型。

keyword

labels.is_ioc_transform_source

指示 IOC 是否在原始源数据流中,或者在最新的目标索引中。

constant_keyword

log.flags

日志文件的标志。

keyword

log.offset

日志文件中条目的偏移量。

long

recordedfuture.evidence_details.criticality

double

recordedfuture.evidence_details.criticality_label

keyword

recordedfuture.evidence_details.evidence_string

keyword

recordedfuture.evidence_details.mitigation_string

keyword

recordedfuture.evidence_details.name

keyword

recordedfuture.evidence_details.rule

keyword

recordedfuture.evidence_details.sightings_count

integer

recordedfuture.evidence_details.sources

keyword

recordedfuture.evidence_details.sources_count

integer

recordedfuture.evidence_details.timestamp

date

recordedfuture.list

用户配置的风险列表。

keyword

recordedfuture.name

指标值。

keyword

recordedfuture.risk_string

观察到的风险规则的详细信息。

keyword

threat.feed.name

显示友好的源名称

constant_keyword

threat.indicator.first_seen

情报源首次报告发现此指标的日期和时间。

date

threat.indicator.last_seen

情报源最后一次报告发现此指标的日期和时间。

date

threat.indicator.modified_at

情报源最后一次修改此指标信息的日期和时间。

date

变更日志

编辑
变更日志
版本 详细信息 Kibana 版本

1.28.0

增强 (查看拉取请求)
不要在主提取管道中删除 event.original

8.13.0 或更高版本

1.27.0

增强 (查看拉取请求)
将“preserve_original_event”标签添加到 event.kind 设置为“pipeline_error”的文档。

8.13.0 或更高版本

1.26.3

Bug 修复 (查看拉取请求)
修复 labels.is_ioc_transform_source 值

8.13.0 或更高版本

1.26.2

Bug 修复 (查看拉取请求)
在转换中添加缺失的字段

8.13.0 或更高版本

1.26.1

Bug 修复 (查看拉取请求)
修复威胁字段上的 ECS 日期映射。

8.13.0 或更高版本

1.26.0

增强 (查看拉取请求)
将 kibana 约束更新为 ^8.13.0。修改了字段定义以删除 ecs@mappings 组件模板中冗余的 ECS 字段。

8.13.0 或更高版本

1.25.1

Bug 修复 (查看拉取请求)
调整转换目标索引的字段映射。

8.12.0 或更高版本

1.25.0

增强 (查看拉取请求)
解码 Evidence_Details 字段。这是一个重大更改,因为映射已更改。

8.12.0 或更高版本

1.24.0

增强 (查看拉取请求)
添加目标索引别名并修复文档。

8.12.0 或更高版本

1.23.0

增强 (查看拉取请求)
添加仪表板和列表字段

8.12.0 或更高版本

1.22.0

增强 (查看拉取请求)
将敏感值设置为密钥。

8.12.0 或更高版本

1.21.0

增强 (查看拉取请求)
使 threat.indicator.url.full 可用于规则检测。

8.8.0 或更高版本

1.20.2

增强 (查看拉取请求)
更改所有者

8.8.0 或更高版本

1.20.1

Bug 修复 (查看拉取请求)
修复 exclude_files 模式。

8.8.0 或更高版本

1.20.0

增强 (查看拉取请求)
将请求跟踪器日志计数限制为五。

8.8.0 或更高版本

1.19.0

增强 (查看拉取请求)
ECS 版本更新至 8.11.0。

8.8.0 或更高版本

1.18.1

Bug 修复 (查看拉取请求)
修复提供程序信息的解析。

8.8.0 或更高版本

1.18.0

增强 (查看拉取请求)
改进 event.original 检查,以避免在设置时出现错误。

8.8.0 或更高版本

1.17.0

增强 (查看拉取请求)
ECS 版本更新至 8.10.0。

8.8.0 或更高版本

1.16.0

增强 (查看拉取请求)
添加 DLM 策略。将 owner.type 添加到软件包清单。将 format_version 更新为 3.0.0

增强 (查看拉取请求)
添加 tags.yml 文件,以便集成的仪表板和已保存的搜索使用“安全解决方案”进行标记,并在安全解决方案 UI 中显示。

8.8.0 或更高版本

1.15.1

Bug 修复 (查看拉取请求)
替换点分隔的 YAML 键。

1.15.0

增强 (查看拉取请求)
将 package-spec 更新至 2.10.0。

8.8.0 或更高版本

1.14.0

增强 (查看拉取请求)
将软件包更新至 ECS 8.9.0。

8.8.0 或更高版本

1.13.0

增强 (查看拉取请求)
文档持续时间单位。

8.8.0 或更高版本

1.12.0

增强 (查看拉取请求)
确保为管道错误正确设置 event.kind。

8.8.0 或更高版本

1.11.0

增强 (查看拉取请求)
将软件包更新至 ECS 8.8.0。

8.8.0 或更高版本

1.10.0

增强 (查看拉取请求)
将 IOC 字段添加到转换源,以便轻松过滤具有未过期指标的目标索引

8.8.0 或更高版本

1.9.0

增强 (查看拉取请求)
支持 IoC 过期

8.8.0 或更高版本

1.8.0

增强 (查看拉取请求)
添加一个新标志以启用请求跟踪

8.7.1 或更高版本

1.7.0

增强 (查看拉取请求)
从证据字段中抓取提供程序详细信息。

8.0.0 或更高版本

1.6.0

增强 (查看拉取请求)
将包更新到 ECS 8.7.0。

8.0.0 或更高版本

1.5.0

增强 (查看拉取请求)
将包更新到 ECS 8.6.0。

8.0.0 或更高版本

1.4.1

Bug 修复 (查看拉取请求)
threat.indicator.geo.location 使用 ECS 定义。

8.0.0 或更高版本

1.4.0

增强 (查看拉取请求)
将包更新到 ECS 8.5.0。

1.3.0

增强 (查看拉取请求)
将包更新到 ECS 8.4.0

8.0.0 或更高版本

1.2.1

Bug 修复 (查看拉取请求)
公开请求超时设置并将其增加到 5 分钟。

Bug 修复 (查看拉取请求)
不要因无效的 URL 而失败。

8.0.0 或更高版本

1.2.0

增强 (查看拉取请求)
更新类别以包括 threat_intel

8.0.0 或更高版本

1.1.0

增强 (查看拉取请求)
将包更新到 ECS 8.3.0。

8.0.0 或更高版本

1.0.1

增强 (查看拉取请求)
更新了自述文件,添加了指向 Recorded Future API 文档的链接

8.0.0 或更高版本

1.0.0

增强 (查看拉取请求)
正式发布 (GA)

8.0.0 或更高版本

0.1.3

增强 (查看拉取请求)
更新包描述

0.1.2

增强 (查看拉取请求)
添加 event.created 的字段映射

0.1.1

增强 (查看拉取请求)
添加多字段的文档

0.1.0

增强 (查看拉取请求)
初始发布