« Recorded Future 集成 ThreatConnect »
Elastic 文档 ›Elastic 集成 ›威胁情报

ThreatQuotient 集成

编辑

ThreatQuotient 集成

编辑

版本

1.30.0 (查看全部)

兼容的 Kibana 版本

8.13.0 或更高版本

支持的无服务器项目类型
这是什么？

安全
可观测性

订阅级别
这是什么？

基本

支持级别
这是什么？

合作伙伴

ThreatQuotient 集成使用可用的 ThreatQuotient REST API 来检索指标和威胁情报。

日志

编辑
威胁
编辑

ThreatQ 集成需要您设置有效的 URL、Oauth2 凭证组合以及要从中检索指标的集合的 ID。默认情况下，指标将每 1 分钟收集一次，并且重复数据删除由 API 本身处理。此数据流支持入侵指标 (IOC) 的过期。

入侵指标 (IOC) 的过期
编辑

ThreatQ 的 Threat 数据流支持 IOC 过期。摄入的 IOC 在一定时间后过期。在 ThreatQ 源中，这可以通过 3 种方式发生

  • 当 threatq.status 的值为 Expired 时。
  • 当字段 threatq.expires_at 或 threatq.expired_at 中的任何一个达到当前 now() 时间戳时。
  • 当指标长时间未更新时，导致由 IOC 过期时长 配置参数设置的默认过期时间。有关更多详细信息，请参阅 处理孤立的 IOC。

字段 threatq.ioc_expiration_reason 指示上述 3 种方法中哪一种是指标过期的原因。

创建 Elastic Transform 以方便最终用户仅使用活动的 IOC。此转换创建名为 logs-ti_threatq_latest.dest_threat-* 的目标索引，该索引仅包含活动且未过期的 IOC。最新的目标索引还有一个名为 logs-ti_threatq_latest.threat 的别名。在查询活动指标或设置指标匹配规则时，请仅使用最新的目标索引或别名，以避免来自已过期 IOC 的误报。Threat 数据流的仪表板也指向包含活动 IoC 的最新目标索引。请阅读下面的 ILM 策略，该策略是为了避免源数据流 .ds-logs-ti_threatq.threat-* 索引的无限制增长而添加的。

处理孤立的 IOC
编辑

某些 IOC 可能永远不会过期，并将继续保留在最新的目标索引 logs-ti_threatq_latest.dest_threat-* 中。为了避免此类孤立 IOC 造成的任何误报，用户在设置集成时可以配置 IOC 过期时长 参数。此参数会在指定的时长到达后删除任何摄入到目标索引 logs-ti_threatq_latest.dest_threat-* 中的指标，默认为源的 @timestamp 字段的 90d。请注意，IOC 过期时长 参数仅在 IOC 永远不会过期的情况下添加一个故障保护默认过期时间。

ILM 策略
编辑

为了方便 IOC 过期，支持源数据流的索引 .ds-logs-ti_threatq.threat-* 允许包含来自每个轮询间隔的重复项。ILM 策略已添加到这些源索引中，因此它不会导致无限制的增长。这意味着这些源索引中的数据将在摄入日期后的 5 天后删除。

导出的字段
字段 描述 类型

@timestamp

事件时间戳。

date

cloud.image.id

云实例的映像 ID。

keyword

data_stream.dataset

数据流数据集名称。

constant_keyword

data_stream.namespace

数据流命名空间。

constant_keyword

data_stream.type

数据流类型。

constant_keyword

event.dataset

事件数据集

constant_keyword

event.module

事件模块

constant_keyword

host.containerized

如果主机是一个容器。

boolean

host.os.build

操作系统构建信息。

keyword

host.os.codename

操作系统代码名称（如果有）。

keyword

input.type

Filebeat 输入的类型。

keyword

labels.is_ioc_transform_source

指示 IOC 是否在原始源数据流中，或者在最新的目标索引中。

constant_keyword

log.flags

日志文件的标志。

keyword

log.offset

日志文件中条目的偏移量。

long

threat.feed.dashboard_id

用于 Kibana CTI UI 的仪表板 ID

constant_keyword

threat.indicator.first_seen

情报来源首次报告发现此指标的日期和时间。

date

threat.indicator.last_seen

情报来源上次报告发现此指标的日期和时间。

date

threat.indicator.modified_at

情报来源上次修改此指标信息的日期和时间。

date

threatq.adversaries

链接到该对象的对手

keyword

threatq.attributes

这些提供有关对象的其他上下文

flattened

threatq.created_at

对象创建时间

date

threatq.expired_at

API 给定的过期时间。数据中存在 expires_at 或 expired_at 中的一个。

date

threatq.expires_at

API 给定的过期时间。数据中存在 expires_at 或 expired_at 中的一个。

date

threatq.expires_calculated_at

过期计算时间

date

threatq.id

指标 ID。id、indicator_id 或两者都可能存在于数据集中。

long

threatq.indicator_id

指标 ID。id、indicator_id 或两者都可能存在于数据集中。

long

threatq.indicator_value

原始指标值

keyword

threatq.ioc_expiration_reason

指标过期的原因。在摄入管道内设置。

keyword

threatq.ioc_expired_at

集成计算的转换所需的过期时间。

date

threatq.published_at

对象发布时间

date

threatq.status

威胁库中的对象状态

keyword

threatq.updated_at

上次修改时间

date
示例

threat 的示例事件如下所示

{
    "@timestamp": "2019-11-15T00:00:02.000Z",
    "agent": {
        "ephemeral_id": "9f1b0b7f-5be0-463d-9551-3d66aab12b6f",
        "id": "8299ae35-ee0e-4107-9acb-1b6acfdda1fb",
        "name": "docker-fleet-agent",
        "type": "filebeat",
        "version": "8.13.0"
    },
    "data_stream": {
        "dataset": "ti_threatq.threat",
        "namespace": "94389",
        "type": "logs"
    },
    "ecs": {
        "version": "8.11.0"
    },
    "elastic_agent": {
        "id": "8299ae35-ee0e-4107-9acb-1b6acfdda1fb",
        "snapshot": false,
        "version": "8.13.0"
    },
    "event": {
        "agent_id_status": "verified",
        "category": [
            "threat"
        ],
        "created": "2024-08-02T06:46:26.556Z",
        "dataset": "ti_threatq.threat",
        "ingested": "2024-08-02T06:46:36Z",
        "kind": "enrichment",
        "original": "{\"adversaries\":[],\"attributes\":[{\"attribute_id\":3,\"created_at\":\"2020-09-11 14:35:53\",\"id\":1877,\"indicator_id\":336,\"name\":\"Description\",\"touched_at\":\"2020-10-15 14:36:00\",\"updated_at\":\"2020-10-15 14:36:00\",\"value\":\"Malicious Host\"},{\"attribute_id\":4,\"created_at\":\"2020-09-11 14:35:53\",\"id\":1878,\"indicator_id\":336,\"name\":\"Country\",\"touched_at\":\"2020-10-15 14:36:00\",\"updated_at\":\"2020-10-15 14:36:00\",\"value\":\"MP\"}],\"class\":\"network\",\"created_at\":\"2020-09-11 14:35:51\",\"expires_calculated_at\":\"2020-10-15 14:40:03\",\"hash\":\"1ece659dcec98b1e1141160b55655c96\",\"id\":336,\"published_at\":\"2020-09-11 14:35:51\",\"score\":4,\"sources\":[{\"created_at\":\"2020-09-11 14:35:53\",\"creator_source_id\":12,\"id\":336,\"indicator_id\":336,\"indicator_status_id\":2,\"indicator_type_id\":15,\"name\":\"AlienVault OTX\",\"published_at\":\"2020-09-11 14:35:53\",\"reference_id\":1,\"source_expire_days\":\"30\",\"source_id\":12,\"source_score\":1,\"source_type\":\"connectors\",\"updated_at\":\"2020-10-15 14:36:00\"}],\"status\":{\"description\":\"Poses a threat\",\"id\":2,\"name\":\"Active\"},\"status_id\":2,\"touched_at\":\"2021-06-07 19:47:27\",\"type\":{\"class\":\"network\",\"id\":15,\"name\":\"IP Address\"},\"type_id\":15,\"updated_at\":\"2019-11-15 00:00:02\",\"value\":\"89.160.20.156\"}",
        "type": [
            "indicator"
        ]
    },
    "input": {
        "type": "httpjson"
    },
    "tags": [
        "preserve_original_event",
        "forwarded",
        "threatq-threat"
    ],
    "threat": {
        "indicator": {
            "confidence": "Low",
            "ip": "89.160.20.156",
            "type": "ipv4-addr"
        }
    },
    "threatq": {
        "attributes": {
            "country": [
                "MP"
            ],
            "description": [
                "Malicious Host"
            ]
        },
        "created_at": "2020-09-11T14:35:51.000Z",
        "expires_calculated_at": "2020-10-15T14:40:03.000Z",
        "id": 336,
        "indicator_value": "89.160.20.156",
        "ioc_expiration_reason": "Expiration set by Elastic from the integration's parameter `IOC Expiration Duration`",
        "ioc_expired_at": "2019-11-20T00:00:02.000Z",
        "published_at": "2020-09-11T14:35:51.000Z",
        "status": "Active"
    }
}

更新日志

编辑
更新日志
版本 详细信息 Kibana 版本

1.30.0

增强 (查看拉取请求)
请勿在主摄入管道中删除 event.original。

8.13.0 或更高版本

1.29.0

增强 (查看拉取请求)
将“preserve_original_event”标记添加到 event.kind 设置为“pipeline_error”的文档中。

8.13.0 或更高版本

1.28.3

Bug 修复 (查看拉取请求)
修复 labels.is_ioc_transform_source 值

8.13.0 或更高版本

1.28.2

Bug 修复 (查看拉取请求)
在转换中添加缺少的字段

8.13.0 或更高版本

1.28.1

Bug 修复 (查看拉取请求)
修复威胁字段的 ECS 日期映射。

8.13.0 或更高版本

1.28.0

增强 (查看拉取请求)
将 kibana 约束更新为 ^8.13.0。修改了字段定义，以删除 ecs@mappings 组件模板中多余的 ECS 字段。

8.13.0 或更高版本

1.27.1

Bug 修复 (查看拉取请求)
调整转换目标索引的字段映射。

8.12.0 或更高版本

1.27.0

增强 (查看拉取请求)
改进对空响应的处理。

8.12.0 或更高版本

1.26.0

增强 (查看拉取请求)
支持用户配置页面大小。

8.12.0 或更高版本

1.25.0

增强 (查看拉取请求)
将敏感值设置为机密。

8.12.0 或更高版本

1.24.2

增强 (查看拉取请求)
已更改所有者

8.11.0 或更高版本

1.24.1

Bug 修复 (查看拉取请求)
修复 IOC 过期时长字符转换。

8.11.0 或更高版本

1.24.0

增强 (查看拉取请求)
支持 IoC 过期

8.11.0 或更高版本

1.23.0

增强 (查看拉取请求)
将请求跟踪器日志计数限制为 5。

8.7.1 或更高版本

1.22.0

增强 (查看拉取请求)
ECS 版本更新至 8.11.0。

8.7.1 或更高版本

1.21.0

增强 (查看拉取请求)
改进对 event.original 的检查，以避免在设置时出现错误。

8.7.1 或更高版本

1.20.0

增强 (查看拉取请求)
设置 partner 所有者类型。

8.7.1 或更高版本

1.19.0

增强 (查看拉取请求)
ECS 版本更新至 8.10.0。

8.7.1 或更高版本

1.18.0

增强 (查看拉取请求)
软件包清单中的 format_version 从 2.11.0 更改为 3.0.0。从软件包清单中删除了点状 YAML 键。向软件包清单添加了 owner.type: elastic。

8.7.1 或更高版本

1.17.0

增强 (查看拉取请求)
添加 tags.yml 文件，以便集成的仪表板和保存的搜索都带有 “安全解决方案” 标签，并在安全解决方案 UI 中显示。

8.7.1 或更高版本

1.16.0

增强功能 (查看拉取请求)
将 package-spec 更新至 2.10.0。

8.7.1 或更高版本

1.15.0

增强功能 (查看拉取请求)
将软件包更新至 ECS 8.9.0。

8.7.1 或更高版本

1.14.0

增强功能 (查看拉取请求)
记录持续时间单位。

8.7.1 或更高版本

1.13.0

增强功能 (查看拉取请求)
记录有效的持续时间单位。

8.7.1 或更高版本

1.12.0

增强功能 (查看拉取请求)
确保为管道错误正确设置 event.kind。

8.7.1 或更高版本

1.11.0

增强功能 (查看拉取请求)
将软件包更新至 ECS 8.8.0。

8.7.1 或更高版本

1.10.0

增强功能 (查看拉取请求)
添加一个新标志以启用请求跟踪

8.7.1 或更高版本

1.9.0

增强功能 (查看拉取请求)
将软件包更新至 ECS 8.7.0。

8.0.0 或更高版本

1.8.1

Bug 修复 (查看拉取请求)
遵守 preserve_original_event 设置。

8.0.0 或更高版本

1.8.0

增强功能 (查看拉取请求)
将软件包更新至 ECS 8.6.0。

8.0.0 或更高版本

1.7.1

Bug 修复 (查看拉取请求)
删除重复字段。

8.0.0 或更高版本

1.7.0

增强功能 (查看拉取请求)
将软件包更新至 ECS 8.5.0。

8.0.0 或更高版本

1.6.0

增强功能 (查看拉取请求)
将软件包更新至 ECS 8.4.0

8.0.0 或更高版本

1.5.1

Bug 修复 (查看拉取请求)
修复代理 URL 文档渲染。

8.0.0 或更高版本

1.5.0

增强功能 (查看拉取请求)
更新类别以包含 threat_intel。

8.0.0 或更高版本

1.4.0

增强功能 (查看拉取请求)
将软件包更新至 ECS 8.3.0。

8.0.0 或更高版本

1.3.2

增强功能 (查看拉取请求)
更新自述文件以包含指向 threatQ 文档的链接

8.0.0 或更高版本

1.3.1

增强功能 (查看拉取请求)
更新软件包描述

8.0.0 或更高版本

1.3.0

增强功能 (查看拉取请求)
更新至 ECS 8.2

8.0.0 或更高版本

1.2.2

增强功能 (查看拉取请求)
添加 event.created 字段映射

8.0.0 或更高版本

1.2.1

增强功能 (查看拉取请求)
添加多字段文档

8.0.0 或更高版本

1.2.0

增强功能 (查看拉取请求)
更新至 ECS 8.0

8.0.0 或更高版本

1.1.0

增强功能 (查看拉取请求)
添加 threat.feed ECS 字段和仪表板

8.0.0 或更高版本

1.0.2

Bug 修复 (查看拉取请求)
将测试公共 IP 更改为支持的子集

8.0.0 或更高版本

1.0.1

增强功能 (查看拉取请求)
提高最低版本

8.0.0 或更高版本

1.0.0

增强功能 (查看拉取请求)
初始发布

—
« Recorded Future 集成 ThreatConnect »