› ›

Anomali 集成

版本	1.25.0 (查看全部)
兼容的 Kibana 版本	8.13.0 或更高版本
支持的无服务器项目类型这是什么？	安全性可观测性
订阅级别这是什么？	基本
支持级别这是什么？	Elastic

Anomali 集成可以从 Anomali ThreatStream（一种商业威胁情报服务）获取指标。

它具有以下数据流

intelligence 从 Anomali ThreatStream API 的情报端点检索的指标。
threatstream 从 Anomali ThreatStream Elastic 扩展（附加软件）接收的指标。此功能已弃用。

日志

编辑

入侵指标 (IOC) 的过期

编辑

创建一个 Elastic 转换，为最终用户提供活动指标的视图。该转换创建目标索引，这些索引可通过 logs-ti_anomali_latest.<datastreamname> 形式的别名访问。查询活动指标或设置指标匹配规则时，请使用别名以避免过期指标的误报。仪表板仅显示最新的指标。

处理孤立的 IOC

编辑

来自 Anomali 的指标数据可能包含有关删除或过期时间的信息。但是，某些 Anomali IOC 可能永远不会过期，并将继续保留在最新的目标索引中。为了避免此类孤立的 IOC 造成的任何误报，用户可以在设置策略时配置“IOC 过期持续时间”或“删除前的 IOC 持续时间”参数。此处设置的值将限制指标在删除之前保留的时间，但指标可能会根据来自 Anomali 的信息提前删除。

目标索引版本控制和删除旧版本

编辑

转换创建的目标索引使用整数后缀进行版本控制，例如 -1、-2，例如，logs-ti_anomali_latest.intelligence-1。

由于目标索引中的架构更改，其版本号可能会递增。

发生这种情况时，转换不具有自动删除旧索引的功能，因此用户必须手动删除此旧索引。这是为了确保在使用通配符查询（例如 logs-ti_anomali_latest.intelligence-*）时不存在重复项。要删除旧索引，请按照以下步骤操作（对于 intelligence，如下所示，或者对于较旧的 threatstream 等效项）

将集成升级到最新版本后，通过导航到：Stack Management -> Transforms -> logs-ti_anomali.latest_intelligence-default -> Details 来检查当前转换的目标索引版本。检查 destination_index 值。
运行 GET _cat/indices?v 并检查是否存在任何旧版本。例如 logs-ti_anomali_latest.intelligence-1
运行 DELETE logs-ti_anomali_latest.intelligence-<OLDVERSION> 以删除旧索引。

ILM 策略

编辑

为了防止源数据流 logs-ti_opencti.<datastreamname>-* 无限制地增长，索引生命周期管理 (ILM) 策略将在摄取后 5 天删除记录。

Anomali ThreatStream API

编辑

Anomali ThreatStream API 的情报端点是指标的首选来源。可以使用别名 logs-ti_anomali_latest.intelligence 访问此数据。

示例

intelligence 的示例事件如下所示

{
    "@timestamp": "2024-10-02T16:04:31.789615115Z",
    "agent": {
        "ephemeral_id": "bfe2b7b4-003a-49a1-b51b-e41ece98943b",
        "id": "72cb3ab8-2baa-4ae5-9a62-ee752a56df42",
        "name": "elastic-agent-85520",
        "type": "filebeat",
        "version": "8.14.3"
    },
    "anomali": {
        "threatstream": {
            "can_add_public_tags": true,
            "confidence": 60,
            "deletion_scheduled_at": "2024-10-09T16:04:31.789615115Z",
            "expiration_ts": "9999-12-31T00:00:00.000Z",
            "feed_id": 0,
            "id": "232020126",
            "is_anonymous": false,
            "is_editable": false,
            "is_public": true,
            "itype": "apt_domain",
            "meta": {
                "severity": "very-high"
            },
            "owner_organization_id": 67,
            "retina_confidence": -1,
            "source_reported_confidence": 60,
            "status": "active",
            "threat_type": "apt",
            "type": "domain",
            "update_id": 100000001,
            "uuid": "0921be47-9cc2-4265-b896-c62a7cb91042",
            "value": "gen1xyz.com"
        }
    },
    "data_stream": {
        "dataset": "ti_anomali.intelligence",
        "namespace": "49937",
        "type": "logs"
    },
    "ecs": {
        "version": "8.11.0"
    },
    "elastic_agent": {
        "id": "72cb3ab8-2baa-4ae5-9a62-ee752a56df42",
        "snapshot": false,
        "version": "8.14.3"
    },
    "event": {
        "agent_id_status": "verified",
        "category": [
            "threat"
        ],
        "created": "2021-04-06T09:56:22.915Z",
        "dataset": "ti_anomali.intelligence",
        "ingested": "2024-10-02T16:04:31Z",
        "kind": "enrichment",
        "original": "{\"asn\":\"\",\"can_add_public_tags\":true,\"confidence\":60,\"created_by\":null,\"created_ts\":\"2021-04-06T09:56:22.915Z\",\"description\":null,\"expiration_ts\":\"9999-12-31T00:00:00.000Z\",\"feed_id\":0,\"id\":232020126,\"is_anonymous\":false,\"is_editable\":false,\"is_public\":true,\"itype\":\"apt_domain\",\"locations\":[],\"meta\":{\"detail2\":\"imported by user 136\",\"severity\":\"very-high\"},\"modified_ts\":\"2021-04-06T09:56:22.915Z\",\"org\":\"\",\"owner_organization_id\":67,\"rdns\":null,\"resource_uri\":\"/api/v2/intelligence/232020126/\",\"retina_confidence\":-1,\"sort\":[455403032],\"source\":\"Analyst\",\"source_locations\":[],\"source_reported_confidence\":60,\"status\":\"active\",\"subtype\":null,\"tags\":null,\"target_industry\":[],\"threat_type\":\"apt\",\"threatscore\":54,\"tlp\":null,\"trusted_circle_ids\":null,\"type\":\"domain\",\"update_id\":100000001,\"uuid\":\"0921be47-9cc2-4265-b896-c62a7cb91042\",\"value\":\"gen1xyz.com\",\"workgroups\":[]}",
        "severity": 9,
        "type": [
            "indicator"
        ]
    },
    "input": {
        "type": "cel"
    },
    "tags": [
        "preserve_original_event",
        "forwarded",
        "anomali-intelligence"
    ],
    "threat": {
        "indicator": {
            "confidence": "Medium",
            "marking": {
                "tlp": "WHITE"
            },
            "modified_at": "2021-04-06T09:56:22.915Z",
            "provider": "Analyst",
            "type": "domain-name",
            "url": {
                "domain": "gen1xyz.com"
            }
        }
    }
}

导出的字段

字段	描述	类型
@timestamp	事件时间戳。	date
anomali.threatstream.can_add_public_tags	指示用户是否可以向威胁模型实体添加公共标签。	boolean
anomali.threatstream.confidence	可观测对象是所报告指标类型的确定程度。置信度分数范围为 0-100，置信度按升序排列，并由 ThreatStream 根据多个因素分配。	long
anomali.threatstream.deletion_scheduled_at	在此时间，IOC 将被转换删除。	date
anomali.threatstream.expiration_ts	情报在 ThreatStream 上过期的时戳（UTC 时间）。注意：expiration_ts 只能在高级搜索查询中指定。	date
anomali.threatstream.feed_id	生成指标的威胁源的数字 ID。对于用户创建的指标，feed_id = 0。	long
anomali.threatstream.id	指标的唯一 ID。此标识符在首次在 ThreatStream 上创建指标时分配给该指标。与 update_id 不同，只要指标在 ThreatStream 上可用，此标识符就永远不会更改。	keyword
anomali.threatstream.import_session_id	导入指标的导入会话的 ID。如果指标是通过威胁源导入的，则 import_session_id=0。	long
anomali.threatstream.is_anonymous	当所有者组织之外的用户访问可观测对象时，是否匿名化组织和用户信息。	boolean
anomali.threatstream.is_editable	指示导入的实体是否可以由情报源更新。此属性保留给情报源提供商，可以忽略。	boolean
anomali.threatstream.is_public	指标的可见性——公共或私有。0/False — 如果指标是私有的或属于可信圈 1/True — 如果指标是公共的默认值：0/False	boolean
anomali.threatstream.itype	指标类型。	keyword
anomali.threatstream.meta.maltype	指定与指标关联的恶意软件的标签。	keyword
anomali.threatstream.meta.registrant.address	指标域 WHOIS 注册人地址。	keyword
anomali.threatstream.meta.registrant.email	指标域 WHOIS 注册人电子邮件。	keyword
anomali.threatstream.meta.registrant.name	指标域 WHOIS 注册人姓名。	keyword
anomali.threatstream.meta.registrant.org	指标域 WHOIS 注册人组织。	keyword
anomali.threatstream.meta.registrant.phone	指标域 WHOIS 注册人电话。	keyword
anomali.threatstream.meta.registration_created	注册创建时间。	date
anomali.threatstream.meta.registration_updated	注册更新时间。	date
anomali.threatstream.meta.severity	通过 ThreatStream 部署的机器学习算法分配给指标的严重性。可能的值：低、中、高、非常高	keyword
anomali.threatstream.owner_organization_id	（ThreatStream）组织的 ID，该组织通过威胁源或导入过程引入了指标。	long
anomali.threatstream.rdns	与和指标关联的 IP 地址关联的域名（通过反向域名查找获得）。	keyword
anomali.threatstream.retina_confidence	Anomali 机器学习算法分配给可观测对象的置信度分数。	long
anomali.threatstream.source_created	实体由其原始来源创建的时间戳。	date
anomali.threatstream.source_modified	实体上次由其原始来源更新的时间戳。	date
anomali.threatstream.source_reported_confidence	指标来源提供的 0 到 100 的风险分数。	long
anomali.threatstream.status	分配给指标的状态。例如，活动、非活动、falsepos。	keyword
anomali.threatstream.threat_type	指标的摘要威胁类型。例如，恶意软件、受损、apt、c2 等。	keyword
anomali.threatstream.threatscore	已弃用。	keyword
anomali.threatstream.trusted_circle_ids	与指标共享的可信圈的 ID。	long
anomali.threatstream.type	指标类型——域、电子邮件、ip、md5、字符串、url。	keyword
anomali.threatstream.update_id	与 ThreatStream 上情报的每次更新关联的递增数字标识符。	long
anomali.threatstream.uuid	分配给可观测对象的 UUID（通用唯一标识符），用于 STIX 合规性。	keyword
anomali.threatstream.value	可观测对象的值。例如，192.168.0.10 或 http://www.google.com。	keyword
cloud.image.id	云实例的映像 ID。	keyword
data_stream.dataset	数据流数据集名称。	constant_keyword
data_stream.namespace	数据流命名空间。	constant_keyword
data_stream.type	数据流类型。	constant_keyword
event.dataset	事件数据集	constant_keyword
event.module	事件模块	constant_keyword
host.containerized	主机是否为容器。	boolean
host.os.build	操作系统构建信息。	keyword
host.os.codename	操作系统代号（如果有）。	keyword
input.type	Filebeat 输入的类型。	keyword
labels.is_ioc_transform_source	指示 IOC 是在原始源数据流中还是在最新的目标索引中。	constant_keyword
threat.feed.dashboard_id	用于 Kibana CTI UI 的仪表板 ID	constant_keyword
threat.feed.name	显示友好的源名称	constant_keyword

通过 Elastic 扩展访问 Anomali ThreatStream

编辑

此指标来源已弃用。新用户应改用上面的 API 来源。此来源需要其他软件（Elastic 扩展）才能将 Anomali ThreatStream 连接到此集成。它在 ThreatStream 下载页面上可用。

有关如何配置 Anomali ThreatStream 以将指标发送到此集成的详细说明，请参阅扩展随附的文档。

通过这种方式摄取的指标将可以使用别名 logs-ti_anomali_latest.threatstream 访问。

示例

threatstream 的示例事件如下所示

{
    "@timestamp": "2020-10-08T12:22:11.000Z",
    "agent": {
        "ephemeral_id": "2f4f6445-5077-4a66-8582-2c74e071b6dd",
        "id": "36b03887-7783-4bc4-b8c5-6f8997e4cd1a",
        "name": "docker-fleet-agent",
        "type": "filebeat",
        "version": "8.13.0"
    },
    "anomali": {
        "threatstream": {
            "added_at": "2020-10-08T12:22:11.000Z",
            "classification": "public",
            "confidence": 20,
            "deleted_at": "2020-10-13T12:22:11.000Z",
            "detail2": "imported by user 184",
            "id": "3135167627",
            "import_session_id": "1400",
            "itype": "mal_domain",
            "resource_uri": "/api/v1/intelligence/P46279656657/",
            "severity": "high",
            "source_feed_id": "3143",
            "state": "active",
            "trusted_circle_ids": [
                "122"
            ],
            "update_id": "3786618776",
            "value_type": "domain"
        }
    },
    "data_stream": {
        "dataset": "ti_anomali.threatstream",
        "namespace": "44735",
        "type": "logs"
    },
    "ecs": {
        "version": "8.11.0"
    },
    "elastic_agent": {
        "id": "36b03887-7783-4bc4-b8c5-6f8997e4cd1a",
        "snapshot": false,
        "version": "8.13.0"
    },
    "event": {
        "agent_id_status": "verified",
        "category": [
            "threat"
        ],
        "dataset": "ti_anomali.threatstream",
        "ingested": "2024-08-01T07:49:22Z",
        "kind": "enrichment",
        "original": "{\"added_at\":\"2020-10-08T12:22:11\",\"classification\":\"public\",\"confidence\":20,\"country\":\"FR\",\"date_first\":\"2020-10-08T12:21:50\",\"date_last\":\"2020-10-08T12:24:42\",\"detail2\":\"imported by user 184\",\"domain\":\"d4xgfj.example.net\",\"id\":3135167627,\"import_session_id\":1400,\"itype\":\"mal_domain\",\"lat\":-49.1,\"lon\":94.4,\"org\":\"OVH Hosting\",\"resource_uri\":\"/api/v1/intelligence/P46279656657/\",\"severity\":\"high\",\"source\":\"Default Organization\",\"source_feed_id\":3143,\"srcip\":\"89.160.20.156\",\"state\":\"active\",\"trusted_circle_ids\":\"122\",\"update_id\":3786618776,\"value_type\":\"domain\"}",
        "severity": 7,
        "type": [
            "indicator"
        ]
    },
    "input": {
        "type": "http_endpoint"
    },
    "tags": [
        "preserve_original_event",
        "forwarded",
        "anomali-threatstream"
    ],
    "threat": {
        "indicator": {
            "as": {
                "organization": {
                    "name": "OVH Hosting"
                }
            },
            "confidence": "Low",
            "first_seen": "2020-10-08T12:21:50.000Z",
            "geo": {
                "country_iso_code": "FR",
                "location": {
                    "lat": -49.1,
                    "lon": 94.4
                }
            },
            "ip": "89.160.20.156",
            "last_seen": "2020-10-08T12:24:42.000Z",
            "marking": {
                "tlp": [
                    "WHITE"
                ]
            },
            "provider": "Default Organization",
            "type": "domain-name",
            "url": {
                "domain": "d4xgfj.example.net"
            }
        }
    }
}

导出的字段

字段	描述	类型
@timestamp	事件时间戳。	date
anomali.threatstream.added_at	添加 IOC 的日期。	date
anomali.threatstream.classification	指示指标是私有的还是来自公共源并可公开使用。可能的值：private、public。	keyword
anomali.threatstream.confidence	由 ThreatStream 的预测分析技术分配给指标的准确度衡量标准（从 0 到 100）。	short
anomali.threatstream.deleted_at	删除/过期 IOC 的日期。	date
anomali.threatstream.detail2	指标的详细文本。	text
anomali.threatstream.id	指标的 ID。	keyword
anomali.threatstream.import_session_id	在 ThreatStream 上创建指标的导入会话的 ID。	keyword
anomali.threatstream.itype	指标类型。可能的值：“apt_domain”、“apt_email”、“apt_ip”、“apt_url”、“bot_ip”、“c2_domain”、“c2_ip”、“c2_url”、“i2p_ip”、“mal_domain”、“mal_email”、“mal_ip”、“mal_md5”、“mal_url”、“parked_ip”、“phish_email”、“phish_ip”、“phish_url”、“scan_ip”、“spam_domain”、“ssh_ip”、“suspicious_domain”、“tor_ip”和“torrent_tracker_url”。	keyword
anomali.threatstream.maltype	有关恶意软件家族、CVE ID 或与指标关联的其他攻击或威胁的信息。	wildcard
anomali.threatstream.md5	指标的哈希。	keyword
anomali.threatstream.resource_uri	指标详细信息的相对 URI。	keyword
anomali.threatstream.severity	与提供指标的威胁源关联的严重程度。可能的值：低、中、高、非常高。	keyword
anomali.threatstream.source	指标的来源。	keyword
anomali.threatstream.source_feed_id	集成器源的 ID。	keyword
anomali.threatstream.state	此指标的状态。	keyword
anomali.threatstream.trusted_circle_ids	导入指标的可信圈的 ID。	keyword
anomali.threatstream.update_id	更新 ID。	keyword
anomali.threatstream.url	指标的 URL。	keyword
anomali.threatstream.value_type	指标的数据类型。可能的值：ip、domain、url、email、md5。	keyword
cloud.image.id	云实例的映像 ID。	keyword
data_stream.dataset	数据流数据集名称。	constant_keyword
data_stream.namespace	数据流命名空间。	constant_keyword
data_stream.type	数据流类型。	constant_keyword
event.dataset	事件数据集	constant_keyword
event.module	事件模块	constant_keyword
host.containerized	主机是否为容器。	boolean
host.os.build	操作系统构建信息。	keyword
host.os.codename	操作系统代号（如果有）。	keyword
input.type	Filebeat 输入的类型。	keyword
labels.is_ioc_transform_source	指示 IOC 是在原始源数据流中还是在最新的目标索引中。	constant_keyword
log.flags	日志文件的标志。	keyword
log.offset	日志文件中条目的偏移量。	long
threat.feed.dashboard_id	用于 Kibana CTI UI 的仪表板 ID	constant_keyword
threat.feed.name	显示友好的源名称	constant_keyword
threat.indicator.first_seen	情报源首次报告看到此指标的日期和时间。	date
threat.indicator.last_seen	情报源最后报告看到此指标的日期和时间。	date
threat.indicator.modified_at	情报源上次修改此指标信息的日期和时间。	date

变更日志

编辑

变更日志

版本	详细信息	Kibana 版本
1.25.0	增强 (查看拉取请求) 在主摄取管道中不要移除 `event.original`。	8.13.0 或更高版本
1.24.0	增强 (查看拉取请求) 为 `event.kind` 设置为“pipeline_error”的文档添加“preserve_original_event”标签。	8.13.0 或更高版本
1.23.0	增强 (查看拉取请求) 支持 ThreatStream API	8.13.0 或更高版本
1.22.3	缺陷修复 (查看拉取请求) 修复 labels.is_ioc_transform_source 值	8.13.0 或更高版本
1.22.2	缺陷修复 (查看拉取请求) 在转换中添加缺失的字段	8.13.0 或更高版本
1.22.1	缺陷修复 (查看拉取请求) 修复威胁字段上的 ECS 日期映射。	8.13.0 或更高版本
1.22.0	增强 (查看拉取请求) 将 kibana 约束更新为 ^8.13.0。修改了字段定义，以删除 ecs@mappings 组件模板中多余的 ECS 字段。	8.13.0 或更高版本
1.21.0	增强 (查看拉取请求) 添加目标索引别名并修复文档。	8.12.0 或更高版本
1.20.0	增强 (查看拉取请求) 将敏感值设置为秘密。	8.12.0 或更高版本
1.19.2	增强 (查看拉取请求) 更改所有者	8.8.0 或更高版本
1.19.1	缺陷修复 (查看拉取请求) 修复 IOC 过期持续时间字符转换。	8.8.0 或更高版本
1.19.0	增强 (查看拉取请求) ECS 版本更新至 8.11.0。	8.8.0 或更高版本
1.18.0	增强 (查看拉取请求) ECS 版本更新至 8.10.0。	8.8.0 或更高版本
1.17.0	增强 (查看拉取请求) 添加 DLM 策略。将 owner.type 添加到包清单。将 format_version 更新为 3.0.0 增强 (查看拉取请求) 添加 tags.yml 文件，以便集成的仪表板和保存的搜索都带有“安全解决方案”标签，并显示在安全解决方案 UI 中。	8.8.0 或更高版本
1.16.1	缺陷修复 (查看拉取请求) 删除带点的 YAML 键。	—
1.16.0	增强 (查看拉取请求) 将 package-spec 更新为 2.10.0。	8.8.0 或更高版本
1.15.1	缺陷修复 (查看拉取请求) 修复目标字段映射。注意 - 由于转换的目标索引版本已更改，用户必须手动删除旧索引。有关目标索引版本控制的详细信息，请参阅 https://docs.elastic.co/integrations/ti_anomali#logs。	8.8.0 或更高版本
1.15.0	增强 (查看拉取请求) 将包更新至 ECS 8.9.0。	8.8.0 或更高版本
1.14.1	缺陷修复 (查看拉取请求) 在最新转换中更改排序顺序字段	8.8.0 或更高版本
1.14.0	增强 (查看拉取请求) 确保为管道错误正确设置 event.kind。	8.8.0 或更高版本
1.13.0	增强 (查看拉取请求) 将包更新至 ECS 8.8.0。	8.8.0 或更高版本
1.12.0	增强 (查看拉取请求) 将 IOC 字段添加到转换源，以便使用未过期的指标轻松筛选目标索引	8.8.0 或更高版本
1.11.0	增强 (查看拉取请求) 支持 IoC 过期	8.8.0 或更高版本
1.10.0	增强 (查看拉取请求) 将包更新至 ECS 8.7.0。	8.0.0 或更高版本
1.9.0	增强 (查看拉取请求) 将包更新至 ECS 8.6.0。	8.0.0 或更高版本
1.8.0	增强 (查看拉取请求) 将包更新至 ECS 8.5.0。	8.0.0 或更高版本
1.7.0	增强 (查看拉取请求) 弃用 EOL Limo 数据流。请参阅 https://www.anomali.com/resources/limo。	8.0.0 或更高版本
1.6.0	增强 (查看拉取请求) 将包更新至 ECS 8.4.0	8.0.0 或更高版本
1.5.1	缺陷修复 (查看拉取请求) 修复代理 URL 文档呈现。	8.0.0 或更高版本
1.5.0	增强 (查看拉取请求) 更新类别以包含 `threat_intel`。	8.0.0 或更高版本
1.4.0	增强 (查看拉取请求) 将包更新至 ECS 8.3.0。	8.0.0 或更高版本
1.3.3	增强 (查看拉取请求) 在自述文件中添加了指向 Anomoli 文档的链接	8.0.0 或更高版本
1.3.2	缺陷修复 (查看拉取请求) 修复 threatstream	8.0.0 或更高版本
1.3.1	增强 (查看拉取请求) 更新包描述	8.0.0 或更高版本
1.3.0	增强 (查看拉取请求) 更新至 ECS 8.2	8.0.0 或更高版本
1.2.3	增强 (查看拉取请求) 添加 event.created 的映射	8.0.0 或更高版本
1.2.2	增强 (查看拉取请求) 为多字段添加文档	8.0.0 或更高版本
1.2.1	缺陷修复 (查看拉取请求) 将第一个间隔添加到 Anomali Limo 策略 UI	8.0.0 或更高版本
1.2.0	增强 (查看拉取请求) 更新至 ECS 8.0	8.0.0 或更高版本
1.1.3	缺陷修复 (查看拉取请求) 使用新的 GeoIP 数据库重新生成测试文件	8.0.0 或更高版本
1.1.2	缺陷修复 (查看拉取请求) 将测试公有 IP 更改为受支持的子集	—
1.1.1	增强 (查看拉取请求) 修复 base-fields.yml 中的拼写错误	—
1.1.0	增强 (查看拉取请求) 添加仪表板和 threat.feed ECS 字段	—
1.0.2	增强 (查看拉取请求) 提高最低版本	8.0.0 或更高版本
1.0.1	增强 (查看拉取请求) 更新标题和描述。	—
1.0.0	增强 (查看拉取请求) 初始版本	—

« Alienvault OTX 集成集体情报框架 v3 集成 »