Cybersixgill Darkfeed TAXII 集成

编辑

Cybersixgill Darkfeed TAXII 集成

编辑

版本

1.32.0 (查看全部)

兼容的 Kibana 版本

8.13.0 或更高版本

支持的无服务器项目类型
这是什么?

安全
可观测性

订阅级别
这是什么?

基本

支持级别
这是什么?

Elastic

此集成与商业 Cybersixgill Darkfeed TAXII 服务器连接。

日志

编辑
威胁
编辑

Cybersixgill Darkfeed 集成从 Cybersixgill 提供的凭据可用的 Darkfeed TAXII 服务收集威胁情报。

入侵指标 (IOC) 的过期
编辑

摄取的 IOC 会在 IOC 过期时长 集成设置配置的持续时间后过期。创建 Elastic Transform 以便最终用户只能使用活动的 IOC。此转换创建名为 logs-ti_cybersixgill_latest.dest_threat-* 的目标索引,其中仅包含活动且未过期的 IOC。最新的目标索引还具有名为 logs-ti_cybersixgill_latest.threat 的别名。在查询活动指标或设置指标匹配规则时,仅使用最新的目标索引或别名,以避免过期 IOC 产生误报。仪表板也指向包含活动 IOC 的最新目标索引。请阅读下面的 ILM 策略,该策略旨在避免源数据流 .ds-logs-ti_cybersixgill.threat-* 索引上无限制地增长。

ILM 策略
编辑

为了便于 IOC 过期,允许源数据流支持的索引 .ds-logs-ti_cybersixgill.threat-* 包含来自每个轮询间隔的重复项。ILM 策略 logs-ti_cybersixgill.threat-default_policy 被添加到这些源索引,因此不会导致无限增长。这意味着这些源索引中的数据将在摄取日期后的 5 天后删除。

导出的字段
字段 描述 类型

@timestamp

事件时间戳。

日期

cloud.image.id

云实例的映像 ID。

关键字

cybersixgill.actor

指标的相关参与者。

关键字

cybersixgill.deleted_at

指标过期(或将要过期)的时间戳。

日期

cybersixgill.expiration_duration

配置的过期时长。

关键字

cybersixgill.feedname

威胁情报源的名称。

关键字

cybersixgill.mitre.description

指标的 mitre 描述

关键字

cybersixgill.title

指标的标题。

关键字

cybersixgill.valid_from

指标从哪个日期开始有效。

日期

cybersixgill.virustotal.pr

Virustotal 阳性率。

关键字

cybersixgill.virustotal.url

相关的 Virustotal URL。

关键字

data_stream.dataset

数据流数据集名称。

constant_keyword

data_stream.namespace

数据流命名空间。

constant_keyword

data_stream.type

数据流类型。

constant_keyword

dataset.name

数据集名称。

constant_keyword

dataset.namespace

数据集命名空间。

constant_keyword

dataset.type

数据集类型。

constant_keyword

event.dataset

事件数据集

constant_keyword

event.module

事件模块

constant_keyword

host.containerized

如果主机是容器。

布尔值

host.os.build

操作系统构建信息。

关键字

host.os.codename

操作系统代号(如果有)。

关键字

input.type

输入类型。

关键字

labels.is_ioc_transform_source

指示 IOC 是否在原始源数据流中,或在最新的目标索引中。

constant_keyword

threat.feed.dashboard_id

Kibana CTI UI 使用的仪表板 ID

constant_keyword

threat.feed.name

显示友好的源名称

constant_keyword

threat.indicator.first_seen

情报来源首次报告看到此指标的日期和时间。

日期

threat.indicator.last_seen

情报来源最后一次报告看到此指标的日期和时间。

日期

threat.indicator.modified_at

情报来源最后一次修改此指标信息的日期和时间。

日期

示例

threat 的一个示例事件如下所示

{
    "@timestamp": "2021-12-07T13:58:01.596Z",
    "agent": {
        "ephemeral_id": "9c2e1e11-18ae-413f-9523-290c561a4b61",
        "id": "8299ae35-ee0e-4107-9acb-1b6acfdda1fb",
        "name": "docker-fleet-agent",
        "type": "filebeat",
        "version": "8.13.0"
    },
    "cybersixgill": {
        "actor": "vaedzy",
        "deleted_at": "2021-12-17T13:58:01.596Z",
        "expiration_duration": "10d",
        "feedname": "dark_web_hashes",
        "mitre": {
            "description": "Mitre attack tactics and technique reference"
        },
        "title": "[病毒样本] #Trickbot (2021-12-07)",
        "virustotal": {
            "pr": "medium",
            "url": "https://virustotal.com/#/file/7bdf8b8594ec269da864ee662334f4da53d4820a3f0f8aa665a0fa096ca8f22d"
        }
    },
    "data_stream": {
        "dataset": "ti_cybersixgill.threat",
        "namespace": "78677",
        "type": "logs"
    },
    "ecs": {
        "version": "8.11.0"
    },
    "elastic_agent": {
        "id": "8299ae35-ee0e-4107-9acb-1b6acfdda1fb",
        "snapshot": false,
        "version": "8.13.0"
    },
    "event": {
        "agent_id_status": "verified",
        "category": [
            "threat"
        ],
        "created": "2024-08-02T04:14:26.522Z",
        "dataset": "ti_cybersixgill.threat",
        "ingested": "2024-08-02T04:14:27Z",
        "kind": "enrichment",
        "original": "{\"confidence\":70,\"created\":\"2021-12-07T13:58:01.596Z\",\"description\":\"Hash attributed to malware that was discovered in the dark and deep web\",\"extensions\":{\"extension-definition--3de9ff00-174d-4d41-87c9-05a27a7e117c\":{\"extension_type\":\"toplevel-property-extension\"}},\"external_references\":[{\"positive_rate\":\"medium\",\"source_name\":\"VirusTotal\",\"url\":\"https://virustotal.com/#/file/7bdf8b8594ec269da864ee662334f4da53d4820a3f0f8aa665a0fa096ca8f22d\"},{\"description\":\"Mitre attack tactics and technique reference\",\"mitre_attack_tactic\":\"Build Capabilities\",\"mitre_attack_tactic_id\":\"TA0024\",\"mitre_attack_tactic_url\":\"https://attack.mitre.org/tactics/TA0024/\",\"source_name\":\"mitre-attack\"}],\"id\":\"indicator--302dab0f-64dc-42f5-b99e-702b28c1aaa9\",\"indicator_types\":[\"malicious-activity\"],\"lang\":\"en\",\"modified\":\"2021-12-07T13:58:01.596Z\",\"name\":\"4d0f21919d623bd1631ee15ca7429f28;5ce39ef0700b64bd0c71b55caf64ae45d8400965;7bdf8b8594ec269da864ee662334f4da53d4820a3f0f8aa665a0fa096ca8f22d\",\"pattern\":\"[file:hashes.MD5 = '4d0f21919d623bd1631ee15ca7429f28' OR file:hashes.'SHA-1' = '5ce39ef0700b64bd0c71b55caf64ae45d8400965' OR file:hashes.'SHA-256' = '7bdf8b8594ec269da864ee662334f4da53d4820a3f0f8aa665a0fa096ca8f22d']\",\"pattern_type\":\"stix\",\"sixgill_actor\":\"vaedzy\",\"sixgill_confidence\":70,\"sixgill_feedid\":\"darkfeed_012\",\"sixgill_feedname\":\"dark_web_hashes\",\"sixgill_post_virustotallink\":\"https://virustotal.com/#/file/7bdf8b8594ec269da864ee662334f4da53d4820a3f0f8aa665a0fa096ca8f22d\",\"sixgill_postid\":\"c0c9a0085fb5281cfb40a0ddb62e1d2c6a53eb7a\",\"sixgill_posttitle\":\"[病毒样本] #Trickbot (2021-12-07)\",\"sixgill_severity\":70,\"sixgill_source\":\"forum_kafan\",\"spec_version\":\"2.1\",\"type\":\"indicator\",\"valid_from\":\"2021-12-07T02:55:17Z\"}",
        "severity": 70,
        "type": [
            "indicator"
        ]
    },
    "input": {
        "type": "httpjson"
    },
    "tags": [
        "preserve_original_event",
        "forwarded",
        "ti_cybersixgill"
    ],
    "threat": {
        "indicator": {
            "confidence": "High",
            "description": "Hash attributed to malware that was discovered in the dark and deep web",
            "file": {
                "hash": {
                    "md5": "4d0f21919d623bd1631ee15ca7429f28",
                    "sha1": "5ce39ef0700b64bd0c71b55caf64ae45d8400965",
                    "sha256": "7bdf8b8594ec269da864ee662334f4da53d4820a3f0f8aa665a0fa096ca8f22d"
                }
            },
            "first_seen": "2021-12-07T02:55:17.000Z",
            "last_seen": "2021-12-07T13:58:01.596Z",
            "name": "7bdf8b8594ec269da864ee662334f4da53d4820a3f0f8aa665a0fa096ca8f22d",
            "provider": "forum_kafan",
            "reference": "https://portal.cybersixgill.com/#/search?q=_id:c0c9a0085fb5281cfb40a0ddb62e1d2c6a53eb7a",
            "type": "file"
        },
        "tactic": {
            "id": [
                "TA0024"
            ],
            "name": [
                "Build Capabilities"
            ],
            "reference": [
                "https://attack.mitre.org/tactics/TA0024/"
            ]
        }
    }
}

更新日志

编辑
更新日志
版本 详细信息 Kibana 版本

1.32.0

增强 (查看拉取请求)
不要在主摄取管道中删除 event.original

8.13.0 或更高版本

1.31.1

错误修复 (查看拉取请求)
修复安全服务集成包中的断开链接。

8.13.0 或更高版本

1.31.0

增强 (查看拉取请求)
event.kind 设置为 "pipeline_error" 的文档添加 "preserve_original_event" 标签。

8.13.0 或更高版本

1.30.5

错误修复 (查看拉取请求)
在引用摄取管道中的变量时使用三花括号 Mustache 模板。

8.13.0 或更高版本

1.30.4

错误修复 (查看拉取请求)
在引用摄取管道中的变量时使用三花括号 Mustache 模板。

8.13.0 或更高版本

1.30.3

错误修复 (查看拉取请求)
修复 labels.is_ioc_transform_source 值

8.13.0 或更高版本

1.30.2

错误修复 (查看拉取请求)
在转换中添加缺失字段

8.13.0 或更高版本

1.30.1

错误修复 (查看拉取请求)
修复威胁字段上的 ECS 日期映射。

8.13.0 或更高版本

1.30.0

增强 (查看拉取请求)
将 kibana 约束更新为 ^8.13.0。修改了字段定义以删除 ecs@mappings 组件模板使之冗余的 ECS 字段。

8.13.0 或更高版本

1.29.1

错误修复 (查看拉取请求)
修复示例事件。

8.12.0 或更高版本

1.29.0

增强 (查看拉取请求)
使 event.type 字段符合 ECS 字段定义。

8.12.0 或更高版本

1.28.1

错误修复 (查看拉取请求)
调整转换目标索引的字段映射。

8.12.0 或更高版本

1.28.0

增强 (查看拉取请求)
改进对空响应的处理。

8.12.0 或更高版本

1.27.0

增强 (查看拉取请求)
添加对 IOC 过期的支持。

8.12.0 或更高版本

1.26.0

增强 (查看拉取请求)
将敏感值设置为秘密值。

8.12.0 或更高版本

1.25.1

增强 (查看拉取请求)
更改了所有者

8.7.1 或更高版本

1.25.0

增强 (查看拉取请求)
将请求跟踪器日志计数限制为 5。

8.7.1 或更高版本

1.24.0

增强 (查看拉取请求)
ECS 版本更新至 8.11.0。

8.7.1 或更高版本

1.23.0

增强 (查看拉取请求)
改进对 event.original 的检查,以避免在设置时出现错误。

8.7.1 或更高版本

1.22.0

增强 (查看拉取请求)
ECS 版本更新至 8.10.0。

8.7.1 或更高版本

1.21.0

增强 (查看拉取请求)
程序包清单中的 format_version 从 2.11.0 更改为 3.0.0。从程序包清单中删除了带点的 YAML 键。向程序包清单添加了 owner.type: elastic

8.7.1 或更高版本

1.20.0

增强 (查看拉取请求)
添加 tags.yml 文件,以便集成的仪表板和保存的搜索使用“安全解决方案”进行标记,并显示在安全解决方案 UI 中。

8.7.1 或更高版本

1.19.0

增强 (查看拉取请求)
将 package-spec 更新至 2.10.0。

8.7.1 或更高版本

1.18.0

增强 (查看拉取请求)
将程序包更新至 ECS 8.9.0。

8.7.1 或更高版本

1.17.0

增强 (查看拉取请求)
记录持续时间单位。

8.7.1 或更高版本

1.16.0

增强 (查看拉取请求)
将可视化转换为镜头。

8.7.1 或更高版本

1.15.0

增强 (查看拉取请求)
记录有效的持续时间单位。

8.7.1 或更高版本

1.14.0

增强 (查看拉取请求)
记录有效的持续时间单位。

1.13.0

增强 (查看拉取请求)
确保为管道错误正确设置 event.kind。

8.7.1 或更高版本

1.12.0

增强 (查看拉取请求)
将软件包更新至 ECS 8.8.0。

8.7.1 或更高版本

1.11.0

增强 (查看拉取请求)
添加一个新标志以启用请求跟踪

8.7.1 或更高版本

1.10.1

错误修复 (查看拉取请求)
修复摄取管道以正确映射威胁类型

8.0.0 或更高版本

1.10.0

增强 (查看拉取请求)
将软件包更新至 ECS 8.7.0。

8.0.0 或更高版本

1.9.0

增强 (查看拉取请求)
将软件包更新至 ECS 8.6.0。

8.0.0 或更高版本

1.8.1

错误修复 (查看拉取请求)
删除重复字段。

8.0.0 或更高版本

1.8.0

增强 (查看拉取请求)
将软件包更新至 ECS 8.5.0。

8.0.0 或更高版本

1.7.0

增强 (查看拉取请求)
将软件包更新至 ECS 8.4.0

8.0.0 或更高版本

1.6.1

错误修复 (查看拉取请求)
修复代理 URL 文档渲染。

8.0.0 或更高版本

1.6.0

增强 (查看拉取请求)
更新类别以包含 threat_intel

8.0.0 或更高版本

1.5.0

增强 (查看拉取请求)
将软件包更新至 ECS 8.3.0。

8.0.0 或更高版本

1.4.1

增强 (查看拉取请求)
更新软件包描述

8.0.0 或更高版本

1.4.0

增强 (查看拉取请求)
更新至 ECS 8.2

8.0.0 或更高版本

1.3.2

增强 (查看拉取请求)
为 event.created 添加字段映射

8.0.0 或更高版本

1.3.1

增强 (查看拉取请求)
添加多字段文档

8.0.0 或更高版本

1.3.0

增强 (查看拉取请求)
将集成迁移到使用 TAXII 服务而不是 python 脚本

8.0.0 或更高版本

1.2.0

增强 (查看拉取请求)
更新至 ECS 8.0

8.0.0 或更高版本

1.1.0

增强 (查看拉取请求)
添加仪表板、新徽标和新的威胁 ECS 字段

8.0.0 或更高版本

1.0.0

增强 (查看拉取请求)
初始实现

8.0.0 或更高版本