Alienvault OTX 集成

编辑

Alienvault OTX 集成

编辑

版本

1.27.0 (查看全部)

兼容的 Kibana 版本

8.13.0 或更高版本

支持的无服务器项目类型
这是什么?

安全性
可观测性

订阅级别
这是什么?

基本

支持级别
这是什么?

Elastic

此集成用于 Alienvault OTX。它检索 OTX 上特定用户帐户订阅的所有脉冲的指标。

配置

编辑

要使用此包,需要在 Alienvault OTX 上拥有一个帐户。创建帐户并至少订阅 1 个脉冲后,可以从您的 用户配置文件仪表板中检索 API 密钥。在右上角应该有一个 OTX 密钥。

日志

编辑
威胁
编辑

检索随着时间的推移与您在 OTX 上的脉冲订阅相关的所有相关指标。

导出的字段
字段 描述 类型

@timestamp

事件时间戳。

日期

cloud.image.id

云实例的镜像 ID。

keyword

data_stream.dataset

数据流数据集名称。

constant_keyword

data_stream.namespace

数据流命名空间。

constant_keyword

data_stream.type

数据流类型。

constant_keyword

event.dataset

事件数据集

constant_keyword

event.module

事件模块

constant_keyword

host.containerized

如果主机是容器。

boolean

host.os.build

操作系统构建信息。

keyword

host.os.codename

操作系统代号(如果有)。

keyword

input.type

Filebeat 输入的类型。

keyword

log.flags

日志文件的标志。

keyword

log.offset

日志文件中条目的偏移量。

long

otx.content

与指标相关的额外文本或描述性内容。

keyword

otx.description

指标的描述。

keyword

otx.id

指标的 ID。

keyword

otx.indicator

指标的值,例如,如果类型是域,这将是该值。

keyword

otx.title

描述指标的标题。

keyword

otx.type

指标类型,例如可以是“domain、email、FileHash-SHA256”。

keyword

threat.feed.dashboard_id

用于 Kibana CTI UI 的仪表板 ID

constant_keyword

threat.feed.name

显示友好的 feed 名称

constant_keyword

threat.indicator.file.hash.pehash

该文件的 pehash(如果可用)。

keyword

threat.indicator.first_seen

情报来源首次报告看到此指标的日期和时间。

日期

threat.indicator.last_seen

情报来源上次报告看到此指标的日期和时间。

日期

threat.indicator.modified_at

情报来源上次修改此指标信息的日期和时间。

日期

示例

threat 的示例事件如下所示

{
    "@timestamp": "2024-03-08T02:55:33.690Z",
    "agent": {
        "ephemeral_id": "8edc1f21-05cd-4fa5-aadc-66e64f44856a",
        "id": "f29e7d89-991e-4f0a-838f-9c2eb93d876e",
        "name": "docker-fleet-agent",
        "type": "filebeat",
        "version": "8.12.1"
    },
    "data_stream": {
        "dataset": "ti_otx.threat",
        "namespace": "ep",
        "type": "logs"
    },
    "ecs": {
        "version": "8.11.0"
    },
    "elastic_agent": {
        "id": "f29e7d89-991e-4f0a-838f-9c2eb93d876e",
        "snapshot": false,
        "version": "8.12.1"
    },
    "event": {
        "agent_id_status": "verified",
        "category": [
            "threat"
        ],
        "created": "2024-03-08T02:55:33.690Z",
        "dataset": "ti_otx.threat",
        "ingested": "2024-03-08T02:55:45Z",
        "kind": "enrichment",
        "original": "{\"count\":40359,\"next\":\"https://otx.alienvault.com/api/v1/indicators/export?types=domain%2CIPv4%2Chostname%2Curl%2CFileHash-SHA256\\u0026modified_since=2020-11-29T01%3A10%3A00+00%3A00\\u0026page=2\",\"previous\":null,\"results\":{\"content\":\"\",\"description\":null,\"id\":1251,\"indicator\":\"info.3000uc.com\",\"title\":null,\"type\":\"hostname\"}}",
        "type": [
            "indicator"
        ]
    },
    "input": {
        "type": "httpjson"
    },
    "otx": {},
    "tags": [
        "preserve_original_event",
        "forwarded",
        "otx-threat"
    ],
    "threat": {
        "indicator": {
            "type": "domain-name",
            "url": {
                "domain": "info.3000uc.com"
            }
        }
    }
}
已订阅的脉冲(推荐)
编辑

使用 Filebeat 的 CEL 输入,从 API /api/v1/pulses/subscribed 中检索 OTX 上订阅的脉冲的所有指标。此 API 包含以下订阅

  • 您订阅的用户的所有脉冲
  • 您直接订阅的所有脉冲
  • 您自己创建的所有脉冲
  • 您所属组的所有脉冲
危害指标 (IoC) 过期
编辑

Pulses Subscribed 数据流还支持使用 最新转换的 IoC 过期。以下是处理方式的步骤

  1. 使用 CEL 输入将所有指标检索到名为 logs-ti_otx.pulses_subscribed-* 的源索引中,并通过摄取管道进行处理。这些指标具有一个名为 expiration 的属性,该属性要么是 null 值,要么是时间戳,例如 "2023-09-07T00:00:00"。当值为 null 或时间戳值小于当前时间戳 now() 时,指标不会过期,因此仍然处于活动状态。
  2. 最新转换在源索引上持续运行。此转换的目的是

    • 仅将 active 指标从源索引移动到名为 logs-ti_otx_latest.pulses_subscribed-<NUMBER> 的目标索引中,其中 NUMBER 表示索引版本。
    • 根据 expiration 时间戳值删除过期的指标。
  3. 可以使用指向最新目标索引版本的目的地索引别名 logs-ti_otx_latest.pulses_subscribed 检索所有活动指标。

    • 注意:不要使用源索引 logs-ti_otx.pulses_subscribed-*,因为当指标过期时,源索引将包含重复项。始终使用目标索引别名:logs-ti_otx_latest.pulses_subscribed 来查询所有活动指标。
导出的字段
字段 描述 类型

@timestamp

事件时间戳。

日期

data_stream.dataset

数据流数据集名称。

constant_keyword

data_stream.namespace

数据流命名空间。

constant_keyword

data_stream.type

数据流类型。

constant_keyword

event.dataset

事件数据集

constant_keyword

event.module

事件模块

constant_keyword

input.type

Filebeat 输入的类型。

keyword

labels.is_ioc_transform_source

指示 IOC 是在原始源数据流中,还是在最新的目标索引中。

constant_keyword

log.flags

日志文件的标志。

keyword

log.offset

日志文件中条目的偏移量。

long

otx.content

keyword

otx.count

integer

otx.created

日期

otx.description

keyword

otx.expiration

日期

otx.id

指标的 ID。

keyword

otx.indicator

keyword

otx.is_active

integer

otx.prefetch_pulse_ids

boolean

otx.pulse.adversary

keyword

otx.pulse.attack_ids

keyword

otx.pulse.author_name

keyword

otx.pulse.created

日期

otx.pulse.description

keyword

otx.pulse.extract_source

keyword

otx.pulse.id

keyword

otx.pulse.industries

keyword

otx.pulse.malware_families

keyword

otx.pulse.modified

日期

otx.pulse.more_indicators

boolean

otx.pulse.name

keyword

otx.pulse.public

integer

otx.pulse.references

keyword

otx.pulse.revision

integer

otx.pulse.targeted_countries

keyword

otx.pulse.tlp

keyword

otx.role

keyword

otx.t

double

otx.t2

double

otx.t3

double

otx.title

keyword

threat.feed.dashboard_id

用于 Kibana CTI UI 的仪表板 ID

constant_keyword

threat.feed.name

显示友好的 feed 名称

constant_keyword

threat.indicator.file.hash.pehash

该文件的 pehash(如果可用)。

keyword

threat.indicator.first_seen

情报来源首次报告看到此指标的日期和时间。

日期

threat.indicator.last_seen

情报来源上次报告看到此指标的日期和时间。

日期

threat.indicator.modified_at

情报来源上次修改此指标信息的日期和时间。

日期

示例

pulses_subscribed 的示例事件如下所示

{
    "@timestamp": "2023-08-08T05:05:15.000Z",
    "agent": {
        "ephemeral_id": "c12b4f72-265e-41f0-96e0-103c81de7908",
        "id": "8299ae35-ee0e-4107-9acb-1b6acfdda1fb",
        "name": "docker-fleet-agent",
        "type": "filebeat",
        "version": "8.13.0"
    },
    "data_stream": {
        "dataset": "ti_otx.pulses_subscribed",
        "namespace": "32586",
        "type": "logs"
    },
    "ecs": {
        "version": "8.11.0"
    },
    "elastic_agent": {
        "id": "8299ae35-ee0e-4107-9acb-1b6acfdda1fb",
        "snapshot": false,
        "version": "8.13.0"
    },
    "event": {
        "agent_id_status": "verified",
        "category": [
            "threat"
        ],
        "dataset": "ti_otx.pulses_subscribed",
        "ingested": "2024-08-02T06:03:28Z",
        "kind": "enrichment",
        "original": "{\"content\":\"\",\"count\":2,\"created\":\"2023-08-08T05:05:15\",\"description\":\"\",\"expiration\":null,\"id\":3454375108,\"indicator\":\"pinup-casino-tr.site\",\"is_active\":1,\"prefetch_pulse_ids\":false,\"pulse_raw\":\"{\\\"adversary\\\":\\\"\\\",\\\"attack_ids\\\":[\\\"T1531\\\",\\\"T1059\\\",\\\"T1566\\\"],\\\"author_name\\\":\\\"SampleUser\\\",\\\"created\\\":\\\"2023-08-22T09:43:18.855000\\\",\\\"description\\\":\\\"\\\",\\\"extract_source\\\":[],\\\"id\\\":\\\"64e38336d783f91d6948a7b1\\\",\\\"industries\\\":[],\\\"malware_families\\\":[\\\"WHIRLPOOL\\\"],\\\"modified\\\":\\\"2023-08-22T09:43:18.855000\\\",\\\"more_indicators\\\":false,\\\"name\\\":\\\"Sample Pulse\\\",\\\"public\\\":1,\\\"references\\\":[\\\"https://www.cisa.gov/news-events/analysis-reports/ar23-230a\\\"],\\\"revision\\\":1,\\\"tags\\\":[\\\"cisa\\\",\\\"backdoor\\\",\\\"whirlpool\\\",\\\"malware\\\"],\\\"targeted_countries\\\":[],\\\"tlp\\\":\\\"white\\\"}\",\"role\":null,\"t\":0,\"t2\":0.0050694942474365234,\"t3\":2.7960586547851562,\"title\":\"\",\"type\":\"domain\"}",
        "type": [
            "indicator"
        ]
    },
    "input": {
        "type": "cel"
    },
    "otx": {
        "count": 2,
        "created": "2023-08-08T05:05:15.000Z",
        "expiration": "2023-08-13T05:05:15.000Z",
        "id": "3454375108",
        "is_active": 1,
        "prefetch_pulse_ids": false,
        "pulse": {
            "attack_ids": [
                "T1531",
                "T1059",
                "T1566"
            ],
            "author_name": "SampleUser",
            "created": "2023-08-22T09:43:18.855Z",
            "description": "",
            "extract_source": [],
            "id": "64e38336d783f91d6948a7b1",
            "industries": [],
            "malware_families": [
                "WHIRLPOOL"
            ],
            "modified": "2023-08-22T09:43:18.855Z",
            "more_indicators": false,
            "name": "Sample Pulse",
            "public": 1,
            "references": [
                "https://www.cisa.gov/news-events/analysis-reports/ar23-230a"
            ],
            "revision": 1,
            "targeted_countries": [],
            "tlp": "white"
        },
        "t": 0,
        "t2": 0.0050694942474365234,
        "t3": 2.7960586547851562
    },
    "tags": [
        "preserve_original_event",
        "forwarded",
        "otx-pulses_subscribed",
        "cisa",
        "backdoor",
        "whirlpool",
        "malware"
    ],
    "threat": {
        "indicator": {
            "provider": "OTX",
            "type": "domain-name",
            "url": {
                "domain": "pinup-casino-tr.site"
            }
        }
    }
}

更新日志

编辑
更新日志
版本 详细信息 Kibana 版本

1.27.0

增强功能 (查看拉取请求)
不要在主摄取管道中删除 event.original

8.13.0 或更高版本

1.26.0

增强功能 (查看拉取请求)
event.kind 设置为 "pipeline_error" 的文档添加“preserve_original_event”标记。

8.13.0 或更高版本

1.25.3

错误修复 (查看拉取请求)
修复 labels.is_ioc_transform_source 值

8.13.0 或更高版本

1.25.2

错误修复 (查看拉取请求)
在转换中添加缺失的字段

8.13.0 或更高版本

1.25.1

错误修复 (查看拉取请求)
修复威胁字段上的 ECS 日期映射。

8.13.0 或更高版本

1.25.0

增强功能 (查看拉取请求)
将 kibana 约束更新为 ^8.13.0。修改了字段定义以删除 ecs@mappings 组件模板使之冗余的 ECS 字段。

8.13.0 或更高版本

1.24.1

错误修复 (查看拉取请求)
修复 otx.id 字段的类型映射不一致。

8.12.0 或更高版本

1.24.0

增强功能 (查看拉取请求)
将敏感值设置为机密。

8.12.0 或更高版本

1.23.2

增强功能 (查看拉取请求)
已更改所有者

8.10.3 或更高版本

1.23.1

错误修复 (查看拉取请求)
修复 IOC 过期持续时间字符转换。

8.10.3 或更高版本

1.23.0

增强功能 (查看拉取请求)
将哈希和 IP 值附加到 related.* 字段

8.10.3 或更高版本

1.22.0

增强功能 (查看拉取请求)
将请求跟踪器日志计数限制为 5 个。

8.10.3 或更高版本

1.21.0

增强功能 (查看拉取请求)
ECS 版本更新为 8.11.0。

8.10.3 或更高版本

1.20.0

增强功能 (查看拉取请求)
改进了 event.original 检查,以避免在设置时发生错误。

8.10.3 或更高版本

1.19.0

增强功能 (查看拉取请求)
添加已订阅的脉冲数据流以支持 IoC 过期

增强功能 (查看拉取请求)
添加 DLM 策略。向包清单添加 owner.type。

8.10.3 或更高版本

1.18.0

增强功能 (查看拉取请求)
ECS 版本更新为 8.10.0。

8.7.1 或更高版本

1.17.0

增强功能 (查看拉取请求)
包清单中的 format_version 从 2.11.0 更改为 3.0.0。从包清单中删除了带点的 YAML 键。向包清单添加了 owner.type: elastic

8.7.1 或更高版本

1.16.0

增强功能 (查看拉取请求)
添加 tags.yml 文件,以便使用“安全解决方案”标记集成的仪表板和已保存的搜索,并显示在安全解决方案 UI 中。

8.7.1 或更高版本

1.15.0

增强功能 (查看拉取请求)
将 package-spec 更新到 2.10.0。

8.7.1 或更高版本

1.14.0

增强功能 (查看拉取请求)
将包更新到 ECS 8.9.0。

8.7.1 或更高版本

1.13.0

增强功能 (查看拉取请求)
文档持续时间单位。

8.7.1 或更高版本

1.12.0

增强功能 (查看拉取请求)
文档有效持续时间单位。

8.7.1 或更高版本

1.11.0

增强功能 (查看拉取请求)
确保为管道错误正确设置 event.kind。

8.7.1 或更高版本

1.10.0

增强功能 (查看拉取请求)
将包更新到 ECS 8.8.0。

8.7.1 或更高版本

1.9.0

增强功能 (查看拉取请求)
添加一个新标志以启用请求跟踪

8.7.1 或更高版本

1.8.0

增强 (查看拉取请求)
将软件包更新至 ECS 8.7.0。

8.0.0 或更高版本

1.7.1

增强 (查看拉取请求)
遵守 preserve_original_event 设置。

8.0.0 或更高版本

1.7.0

增强 (查看拉取请求)
将软件包更新至 ECS 8.6.0。

8.0.0 或更高版本

1.6.1

增强 (查看拉取请求)
添加对丢弃空文档的支持

8.0.0 或更高版本

1.6.0

增强 (查看拉取请求)
将软件包更新至 ECS 8.5.0。

8.0.0 或更高版本

1.5.0

增强 (查看拉取请求)
将软件包更新至 ECS 8.4.0

8.0.0 或更高版本

1.4.2

错误修复 (查看拉取请求)
修复代理 URL 文档渲染。

8.0.0 或更高版本

1.4.1

增强 (查看拉取请求)
更新类别以包含 threat_intel

8.0.0 或更高版本

1.4.0

增强 (查看拉取请求)
将软件包更新至 ECS 8.3.0。

8.0.0 或更高版本

1.3.2

增强 (查看拉取请求)
更新自述文件以添加文档链接

8.0.0 或更高版本

1.3.1

增强 (查看拉取请求)
更新软件包描述

8.0.0 或更高版本

1.3.0

增强 (查看拉取请求)
更新至 ECS 8.2

8.0.0 或更高版本

1.2.2

增强 (查看拉取请求)
添加 event.created 的字段映射

8.0.0 或更高版本

1.2.1

增强 (查看拉取请求)
添加多字段文档

8.0.0 或更高版本

1.2.0

增强 (查看拉取请求)
更新至 ECS 8.0

8.0.0 或更高版本

1.1.0

增强 (查看拉取请求)
添加 threat.feed 字段和仪表板

8.0.0 或更高版本

1.0.3

错误修复 (查看拉取请求)
将测试公共 IP 更改为支持的子集

8.0.0 或更高版本

1.0.2

增强 (查看拉取请求)
提升最低版本

8.0.0 或更高版本

1.0.1

增强 (查看拉取请求)
更新标题和描述。

1.0.0

增强 (查看拉取请求)
初始版本