« CEL 自定义 API 输入集成 Check Point 集成 »
Elastic 文档 ›Elastic 集成

Ceph 集成

编辑

Ceph 集成

编辑

版本

1.7.0 (查看全部)

兼容的 Kibana 版本

8.13.0 或更高版本

支持的无服务器项目类型
这是什么？

安全性
可观测性

订阅级别
这是什么？

基本

支持级别
这是什么？

Elastic

概述

编辑

Ceph 是一个用于分布式存储集群的框架。前端客户端框架基于 RADOS（可靠的自主分布式对象存储）。客户端可以使用 librados 直接访问 Ceph 存储集群，也可以使用 RADOSGW（对象存储）、RBD（块存储）和 CephFS（文件存储）。后端服务器框架由多个管理节点的守护程序和存储用户实际数据的后端对象存储组成。

使用 Ceph 集成可以：

  • 收集与集群磁盘、集群健康状况、集群状态、对象存储守护程序 (OSD) 性能、对象存储守护程序 (OSD) 池统计信息、对象存储守护程序 (OSD) 树和池磁盘相关的指标。
  • 创建可视化效果以监控、测量和分析使用趋势和关键数据，并获得业务见解。
  • 通过在排除故障时参考相关日志来创建警报，以减少 MTTD 和 MTTR。

数据流

编辑

Ceph 集成收集指标数据。

指标让您深入了解 Ceph 的统计信息。Ceph 集成收集的指标数据流包括 cluster_disk、cluster_health、cluster_status、osd_performance、osd_pool_stats、osd_tree 和 pool_disk，以便用户可以监控和排除 Ceph 实例的性能故障。

数据流

  • cluster_disk：收集与集群的整体存储相关的信息。
  • cluster_health：收集与集群的健康状况相关的信息。
  • cluster_status：收集与集群的状态相关的信息。
  • osd_performance：收集与对象存储守护程序 (OSD) 性能相关的信息。
  • osd_pool_stats：收集与客户端 I/O 速率相关的信息。
  • osd_tree：收集与对象存储守护程序 (OSD) 树的结构相关的信息。
  • pool_disk：收集与每个池的内存相关的信息。

注意

  • 用户可以在 Discover 的 logs-* 索引模式中监控和查看 Ceph 的摄取文档中的指标。

兼容性

编辑

此集成已针对 Ceph 15.2.17 (Octopus) 和 14.2.22 (Nautilus) 进行测试。

要查找实例的 Ceph 版本，请参阅以下方法：

  1. 在 Ceph 仪表板上，在屏幕的右上角，转到 帮助 > 关于。您可以看到 Ceph 的版本。
  2. 请从 Ceph 实例运行以下命令：
ceph version

先决条件

编辑

您需要 Elasticsearch 来存储和搜索数据，以及 Kibana 来可视化和管理数据。您可以使用我们在 Elastic Cloud 上的托管 Elasticsearch 服务（推荐），或在您自己的硬件上自行管理 Elastic Stack。

为了从 Ceph 摄取数据，用户必须具备：

设置

编辑

有关如何设置集成的分步说明，请参阅入门指南。

配置

编辑

您需要从 Ceph 实例 获取以下信息，以便在 Elastic 中配置此集成：

Ceph 主机名

编辑

主机配置格式：http[s]://<ceph-mgr>:<port>

主机配置示例：https://127.0.0.1:8003

API 用户和 API 密钥

编辑

要列出所有 API 密钥，请从 Ceph 实例运行以下命令：

ceph restful list-keys

ceph restful list-keys 命令将以 JSON 格式输出。

{
      "api": "52dffd92-a103-4a10-bfce-5b60f48f764e"
}

在上面的 JSON 中，请在配置集成时将 api 视为 API 用户，并将 52dffd92-a103-4a10-bfce-5b60f48f764e 的值视为 API 密钥。

验证

编辑

成功配置集成后，单击 Ceph 集成的“资产”选项卡应会显示可用仪表板的列表。单击适用于您配置的数据流的可用仪表板。它应该会填充所需的数据。

故障排除

编辑
  • 如果 host.ip 在 logs-* 数据视图下显示冲突，则可以通过重新索引 集群磁盘、集群健康状况、集群状态、OSD 性能、OSD 池统计信息、OSD 树和 池磁盘数据流来解决此问题。

指标参考

编辑

集群磁盘

编辑

这是 cluster_disk 数据流。此数据流收集与集群磁盘的总存储、可用存储和已用存储相关的指标。

示例

cluster_disk 的示例事件如下所示：

{
    "@timestamp": "2023-01-16T14:19:00.980Z",
    "agent": {
        "ephemeral_id": "52dd7029-5dcd-4371-bc36-cfc30e808264",
        "id": "fa18bd63-06b2-4f0e-b03b-9c891269c756",
        "name": "docker-fleet-agent",
        "type": "filebeat",
        "version": "8.5.1"
    },
    "ceph": {
        "cluster_disk": {
            "available": {
                "bytes": 81199562752
            },
            "total": {
                "bytes": 85882568704
            },
            "used": {
                "bytes": 388038656,
                "raw": {
                    "bytes": 4683005952
                }
            }
        }
    },
    "data_stream": {
        "dataset": "ceph.cluster_disk",
        "namespace": "ep",
        "type": "logs"
    },
    "ecs": {
        "version": "8.11.0"
    },
    "elastic_agent": {
        "id": "fa18bd63-06b2-4f0e-b03b-9c891269c756",
        "snapshot": false,
        "version": "8.5.1"
    },
    "event": {
        "agent_id_status": "verified",
        "created": "2023-01-16T14:19:00.980Z",
        "dataset": "ceph.cluster_disk",
        "ingested": "2023-01-16T14:19:01Z",
        "kind": "metric",
        "module": "ceph",
        "original": "{\"command\":\"df format=json\",\"outb\":{\"pools\":[{\"id\":1,\"name\":\"device_health_metrics\",\"stats\":{\"bytes_used\":6488064,\"kb_used\":6336,\"max_avail\":25633505280,\"objects\":4,\"percent_used\":0.0000843624584376812,\"stored\":2142673}},{\"id\":4,\"name\":\"elk\",\"stats\":{\"bytes_used\":3735552,\"kb_used\":3648,\"max_avail\":25633505280,\"objects\":3,\"percent_used\":0.000048574063839623705,\"stored\":1176572}},{\"id\":9,\"name\":\"elastic\",\"stats\":{\"bytes_used\":4325376,\"kb_used\":4224,\"max_avail\":25633505280,\"objects\":5,\"percent_used\":0.00005624322147923522,\"stored\":1349210}}],\"stats\":{\"num_osds\":4,\"num_per_pool_omap_osds\":4,\"num_per_pool_osds\":4,\"total_avail_bytes\":81199562752,\"total_bytes\":85882568704,\"total_used_bytes\":388038656,\"total_used_raw_bytes\":4683005952,\"total_used_raw_ratio\":0.05452801287174225},\"stats_by_class\":{\"hdd\":{\"total_avail_bytes\":81199562752,\"total_bytes\":85882568704,\"total_used_bytes\":388038656,\"total_used_raw_bytes\":4683005952,\"total_used_raw_ratio\":0.05452801287174225}}},\"outs\":\"\"}",
        "type": [
            "info"
        ]
    },
    "input": {
        "type": "httpjson"
    },
    "service": {
        "address": "http://elastic-package-service_ceph_1:8080"
    },
    "tags": [
        "preserve_original_event",
        "ceph-cluster_disk",
        "forwarded"
    ]
}

ECS 字段参考

有关 ECS 字段的详细信息，请参考以下文档。

导出的字段
字段 描述 类型 单位 指标类型

@timestamp

事件时间戳。

日期

ceph.cluster_disk.available.bytes

集群磁盘的可用字节数。

长整型

字节

测量值

ceph.cluster_disk.total.bytes

集群磁盘的总字节数。

长整型

字节

测量值

ceph.cluster_disk.used.bytes

集群磁盘的已用字节数。

长整型

字节

测量值

ceph.cluster_disk.used.raw.bytes

集群磁盘的已用原始字节数。

长整型

字节

测量值

data_stream.dataset

数据流数据集。

constant_keyword

data_stream.namespace

数据流命名空间。

constant_keyword

data_stream.type

数据流类型。

constant_keyword

input.type

Filebeat 输入的类型。

keyword

集群健康状况

编辑

这是 cluster_health 数据流。此数据流收集与集群健康状况相关的指标。

示例

cluster_health 的示例事件如下所示：

{
    "@timestamp": "2023-01-10T06:47:15.877Z",
    "agent": {
        "ephemeral_id": "52b8b8e6-e3de-46a1-b5df-e11e207c1dc0",
        "id": "7d789115-66d9-472a-89d4-c748c2551a51",
        "name": "docker-fleet-agent",
        "type": "filebeat",
        "version": "8.5.1"
    },
    "ceph": {
        "cluster_health": {
            "epoch": 7,
            "round": {
                "count": 0,
                "status": "finished"
            }
        }
    },
    "data_stream": {
        "dataset": "ceph.cluster_health",
        "namespace": "ep",
        "type": "logs"
    },
    "ecs": {
        "version": "8.11.0"
    },
    "elastic_agent": {
        "id": "7d789115-66d9-472a-89d4-c748c2551a51",
        "snapshot": false,
        "version": "8.5.1"
    },
    "event": {
        "agent_id_status": "verified",
        "created": "2023-01-10T06:47:15.877Z",
        "dataset": "ceph.cluster_health",
        "ingested": "2023-01-10T06:47:16Z",
        "kind": "metric",
        "module": "ceph",
        "original": "{\"command\":\"time-sync-status format=json\",\"outb\":{\"timechecks\":{\"epoch\":7,\"round\":0,\"round_status\":\"finished\"}},\"outs\":\"\"}",
        "type": [
            "info"
        ]
    },
    "input": {
        "type": "httpjson"
    },
    "service": {
        "address": "http://elastic-package-service_ceph_1:8080"
    },
    "tags": [
        "preserve_original_event",
        "ceph-cluster_health",
        "forwarded"
    ]
}

ECS 字段参考

有关 ECS 字段的详细信息，请参考以下文档。

导出的字段
字段 描述 类型 指标类型

@timestamp

事件时间戳。

日期

ceph.cluster_health.epoch

映射版本。

长整型

ceph.cluster_health.round.count

时间检查轮次。

长整型

测量值

ceph.cluster_health.round.status

轮次的状态。

keyword

data_stream.dataset

数据流数据集。

constant_keyword

data_stream.namespace

数据流命名空间。

constant_keyword

data_stream.type

数据流类型。

constant_keyword

input.type

Filebeat 输入的类型。

keyword

集群状态

编辑

这是 cluster_status 数据流。此数据流收集与集群健康状况、集群中的监视器数量、集群版本、集群放置组 (pg) 计数、集群 osd 状态和集群存储相关的指标。

示例

cluster_status 的示例事件如下所示：

{
    "@timestamp": "2023-02-08T15:11:32.486Z",
    "agent": {
        "ephemeral_id": "255caad4-76f8-4423-bc37-5833c0067375",
        "id": "686da057-e16f-4744-acb7-421b88c9b3ca",
        "name": "docker-fleet-agent",
        "type": "filebeat",
        "version": "8.5.1"
    },
    "ceph": {
        "cluster_status": {
            "cluster_version": "octopus",
            "health": "HEALTH_WARN",
            "monitor": {
                "count": 1
            },
            "object": {
                "count": 12
            },
            "osd": {
                "count": 6,
                "epoch": 958,
                "in": {
                    "count": 4
                },
                "up": {
                    "count": 3
                }
            },
            "pg": {
                "available": {
                    "bytes": 60636725248
                },
                "count": 96,
                "data": {
                    "bytes": 134217728
                },
                "degraded": {
                    "object": {
                        "count": 9
                    },
                    "ratio": 0.25,
                    "total": {
                        "count": 36
                    }
                },
                "remapped": {
                    "count": 0
                },
                "state": [
                    {
                        "count": 56,
                        "state_name": "active+undersized"
                    },
                    {
                        "count": 31,
                        "state_name": "active+clean"
                    },
                    {
                        "count": 9,
                        "state_name": "active+undersized+degraded"
                    }
                ],
                "total": {
                    "bytes": 64411926528
                },
                "used": {
                    "bytes": 3775201280
                }
            },
            "pool": {
                "count": 3
            },
            "traffic": {
                "read": {
                    "bytes": 0,
                    "operation": {
                        "count": 50
                    }
                },
                "write": {
                    "bytes": 0,
                    "operation": {
                        "count": 55
                    }
                }
            }
        }
    },
    "data_stream": {
        "dataset": "ceph.cluster_status",
        "namespace": "ep",
        "type": "logs"
    },
    "ecs": {
        "version": "8.11.0"
    },
    "elastic_agent": {
        "id": "686da057-e16f-4744-acb7-421b88c9b3ca",
        "snapshot": false,
        "version": "8.5.1"
    },
    "event": {
        "agent_id_status": "verified",
        "created": "2023-02-08T15:11:32.486Z",
        "dataset": "ceph.cluster_status",
        "ingested": "2023-02-08T15:11:33Z",
        "kind": "metric",
        "module": "ceph",
        "original": "{\"command\":\"status format=json\",\"outb\":{\"election_epoch\":9,\"fsid\":\"72840c24-3a82-4e28-be87-cf9f905918fb\",\"fsmap\":{\"by_rank\":[],\"epoch\":1,\"up:standby\":0},\"health\":{\"checks\":{\"OSD_DOWN\":{\"muted\":false,\"severity\":\"HEALTH_WARN\",\"summary\":{\"count\":1,\"message\":\"1 osds down\"}},\"OSD_HOST_DOWN\":{\"muted\":false,\"severity\":\"HEALTH_WARN\",\"summary\":{\"count\":1,\"message\":\"1 host (1 osds) down\"}},\"PG_DEGRADED\":{\"muted\":false,\"severity\":\"HEALTH_WARN\",\"summary\":{\"count\":74,\"message\":\"Degraded data redundancy: 9/36 objects degraded (25.000%), 9 pgs degraded, 65 pgs undersized\"}}},\"mutes\":[],\"status\":\"HEALTH_WARN\"},\"monmap\":{\"epoch\":2,\"min_mon_release_name\":\"octopus\",\"num_mons\":1},\"osdmap\":{\"epoch\":958,\"num_in_osds\":4,\"num_osds\":6,\"num_remapped_pgs\":0,\"num_up_osds\":3,\"osd_in_since\":1672393287,\"osd_up_since\":1674808261},\"pgmap\":{\"bytes_avail\":60636725248,\"bytes_total\":64411926528,\"bytes_used\":3775201280,\"data_bytes\":134217728,\"degraded_objects\":9,\"degraded_ratio\":0.25,\"degraded_total\":36,\"num_objects\":12,\"num_pgs\":96,\"num_pools\":3,\"pgs_by_state\":[{\"count\":56,\"state_name\":\"active+undersized\"},{\"count\":31,\"state_name\":\"active+clean\"},{\"count\":9,\"state_name\":\"active+undersized+degraded\"}],\"read_bytes_sec\":0,\"read_op_per_sec\":50,\"write_bytes_sec\":0,\"write_op_per_sec\":55},\"progress_events\":{},\"quorum\":[0],\"quorum_age\":2395803,\"quorum_names\":[\"node01\"],\"servicemap\":{\"epoch\":9675,\"modified\":\"2023-02-06T06:30:50.727008+0000\",\"services\":{}}},\"outs\":\"\"}",
        "type": [
            "info"
        ]
    },
    "input": {
        "type": "httpjson"
    },
    "service": {
        "address": "http://elastic-package-service_ceph_1:8080"
    },
    "tags": [
        "preserve_original_event",
        "ceph-cluster_status",
        "forwarded"
    ]
}

ECS 字段参考

有关 ECS 字段的详细信息，请参考以下文档。

导出的字段
字段 描述 类型 单位 指标类型

@timestamp

事件时间戳。

日期

ceph.cluster_status.cluster_version

集群的版本。

keyword

ceph.cluster_status.health

集群的健康状况。

keyword

ceph.cluster_status.monitor.count

集群中监视器的总数。

长整型

测量值

ceph.cluster_status.object.count

集群中的对象数。

长整型

测量值

ceph.cluster_status.osd.count

显示集群中有多少 osd。

长整型

测量值

ceph.cluster_status.osd.epoch

纪元数。

长整型

ceph.cluster_status.osd.in.count

显示有多少 osd 处于 IN 状态。

长整型

测量值

ceph.cluster_status.osd.up.count

显示有多少 osd 处于 UP 状态。

长整型

测量值

ceph.cluster_status.pg.available.bytes

集群的可用字节数。

长整型

字节

测量值

ceph.cluster_status.pg.count

集群中的放置组 (pg) 总数。

长整型

计数器

ceph.cluster_status.pg.data.bytes

集群中放置组 (pg) 的数据字节数。

长整型

字节

测量值

ceph.cluster_status.pg.degraded.object.count

退化的放置组 (pg) 对象总数。

长整型

计数器

ceph.cluster_status.pg.degraded.ratio

放置组 (pg) 中退化的对象比率。

双精度

测量值

ceph.cluster_status.pg.degraded.total.count

退化的放置组 (pg) 总数。

长整型

计数器

ceph.cluster_status.pg.remapped.count

集群中放置组 (pg) 的数量。

长整型

测量值

ceph.cluster_status.pg.state.count

集群中放置组 (pg) 的总数。

长整型

ceph.cluster_status.pg.state.state_name

表示各个放置组 (pg) 的当前状态。

keyword

ceph.cluster_status.pg.total.bytes

集群的总字节数。

长整型

字节

测量值

ceph.cluster_status.pg.used.bytes

集群的已用字节数。

长整型

字节

测量值

ceph.cluster_status.pool.count

集群中池的数量。

长整型

测量值

ceph.cluster_status.traffic.read.bytes

每秒客户端 I/O 读取速率的字节数。

长整型

字节

测量值

ceph.cluster_status.traffic.read.operation.count

每秒客户端 I/O 速率读取操作的数量。

长整型

测量值

ceph.cluster_status.traffic.write.bytes

每秒客户端 I/O 写入速率的字节数。

长整型

字节

测量值

ceph.cluster_status.traffic.write.operation.count

每秒客户端 I/O 速率写入操作的数量。

长整型

测量值

data_stream.dataset

数据流数据集。

constant_keyword

data_stream.namespace

数据流命名空间。

constant_keyword

data_stream.type

数据流类型。

constant_keyword

input.type

Filebeat 输入的类型。

keyword

OSD 性能

编辑

这是 osd_performance 数据流。此数据流收集与对象存储守护程序 (OSD) ID、提交延迟和应用延迟相关的指标。

示例

osd_performance 的示例事件如下所示：

{
    "@timestamp": "2023-02-02T09:28:01.254Z",
    "agent": {
        "ephemeral_id": "04b608b3-b57b-4629-b657-93ad26aaa4fa",
        "id": "b4585197-fa24-4fd1-be65-c31972000431",
        "name": "docker-fleet-agent",
        "type": "filebeat",
        "version": "8.5.1"
    },
    "ceph": {
        "osd_performance": {
            "latency": {
                "apply": {
                    "ms": 3.495
                },
                "commit": {
                    "ms": 5.621
                }
            },
            "osd_id": 1
        }
    },
    "data_stream": {
        "dataset": "ceph.osd_performance",
        "namespace": "ep",
        "type": "logs"
    },
    "ecs": {
        "version": "8.11.0"
    },
    "elastic_agent": {
        "id": "b4585197-fa24-4fd1-be65-c31972000431",
        "snapshot": false,
        "version": "8.5.1"
    },
    "event": {
        "agent_id_status": "verified",
        "created": "2023-02-02T09:28:01.254Z",
        "dataset": "ceph.osd_performance",
        "ingested": "2023-02-02T09:28:02Z",
        "kind": "metric",
        "module": "ceph",
        "original": "{\"id\":1,\"perf_stats\":{\"apply_latency_ms\":3.495,\"apply_latency_ns\":3495000,\"commit_latency_ms\":5.621,\"commit_latency_ns\":5621000}}",
        "type": [
            "info"
        ]
    },
    "input": {
        "type": "httpjson"
    },
    "service": {
        "address": "http://elastic-package-service_ceph_1:8080"
    },
    "tags": [
        "preserve_original_event",
        "ceph-osd_performance",
        "forwarded"
    ]
}

ECS 字段参考

有关 ECS 字段的详细信息，请参考以下文档。

导出的字段
字段 描述 类型 单位 指标类型

@timestamp

事件时间戳。

日期

ceph.osd_performance.latency.apply.ms

将更新刷新到磁盘所用的时间。以毫秒为单位收集。

浮点型

毫秒

测量值

ceph.osd_performance.latency.commit.ms

将操作提交到日志所用的时间。以毫秒为单位收集。

浮点型

毫秒

测量值

ceph.osd_performance.osd_id

对象存储守护程序 (OSD) 的 ID。

长整型

data_stream.dataset

数据流数据集。

constant_keyword

data_stream.namespace

数据流命名空间。

constant_keyword

data_stream.type

数据流类型。

constant_keyword

input.type

Filebeat 输入的类型。

keyword

OSD 池统计信息

编辑

这是 osd_pool_stats 数据流。此数据流收集与对象存储守护程序 (OSD) 客户端 I/O 速率相关的指标。

示例

osd_pool_stats 的示例事件如下所示：

{
    "@timestamp": "2023-01-31T06:11:06.132Z",
    "agent": {
        "ephemeral_id": "bce6666c-db6c-4e84-8fc3-8f52f9f507a8",
        "id": "7365f693-ae62-4cba-9383-2a2b681c625b",
        "name": "docker-fleet-agent",
        "type": "filebeat",
        "version": "8.5.1"
    },
    "ceph": {
        "osd_pool_stats": {
            "client_io_rate": {
                "count": 22,
                "read": {
                    "bytes": 6622518,
                    "count": 11
                },
                "write": {
                    "bytes": 6622518,
                    "count": 11
                }
            },
            "pool_id": 1,
            "pool_name": "device_health_metrics"
        }
    },
    "data_stream": {
        "dataset": "ceph.osd_pool_stats",
        "namespace": "ep",
        "type": "logs"
    },
    "ecs": {
        "version": "8.11.0"
    },
    "elastic_agent": {
        "id": "7365f693-ae62-4cba-9383-2a2b681c625b",
        "snapshot": false,
        "version": "8.5.1"
    },
    "event": {
        "agent_id_status": "verified",
        "created": "2023-01-31T06:11:06.132Z",
        "dataset": "ceph.osd_pool_stats",
        "ingested": "2023-01-31T06:11:07Z",
        "kind": "metric",
        "module": "ceph",
        "original": "{\"client_io_rate\":{\"read_bytes_sec\":6622518,\"read_op_per_sec\":11,\"write_bytes_sec\":6622518,\"write_op_per_sec\":11},\"pool_id\":1,\"pool_name\":\"device_health_metrics\",\"recovery\":{},\"recovery_rate\":{}}",
        "type": [
            "info"
        ]
    },
    "input": {
        "type": "httpjson"
    },
    "service": {
        "address": "http://elastic-package-service_ceph_1:8080"
    },
    "tags": [
        "preserve_original_event",
        "ceph-osd_pool_stats",
        "forwarded"
    ]
}

ECS 字段参考

有关 ECS 字段的详细信息，请参考以下文档。

导出的字段
字段 描述 类型 单位 指标类型

@timestamp

事件时间戳。

日期

ceph.osd_pool_stats.client_io_rate.count

每秒客户端 I/O 速率操作的总数。

长整型

测量值

ceph.osd_pool_stats.client_io_rate.read.bytes

每秒客户端 I/O 读取速率的字节数

长整型

字节

测量值

ceph.osd_pool_stats.client_io_rate.read.count

每秒客户端 I/O 速率读取操作的数量。

长整型

测量值

ceph.osd_pool_stats.client_io_rate.write.bytes

客户端 I/O 写入速率，单位为字节/秒

长整型

字节

测量值

ceph.osd_pool_stats.client_io_rate.write.count

每秒客户端 I/O 速率写入操作的数量。

长整型

字节

测量值

ceph.osd_pool_stats.pool_id

存储池 ID。

长整型

ceph.osd_pool_stats.pool_name

存储池名称。

keyword

data_stream.dataset

数据流数据集。

constant_keyword

data_stream.namespace

数据流命名空间。

constant_keyword

data_stream.type

数据流类型。

constant_keyword

input.type

Filebeat 输入的类型。

keyword

OSD 树

编辑

这是 osd_tree 数据流。此数据流收集与对象存储守护程序 (OSD) 树 ID、名称、状态、是否存在、crush_weight 等相关的指标。

示例

一个 osd_tree 的示例事件如下所示

{
    "@timestamp": "2023-02-06T17:09:29.195Z",
    "agent": {
        "ephemeral_id": "3c25da0e-9512-425a-ab31-343c7bf017eb",
        "id": "7f9a4074-766e-4b2e-91f7-f9311ac8b74a",
        "name": "docker-fleet-agent",
        "type": "filebeat",
        "version": "8.5.1"
    },
    "ceph": {
        "osd_tree": {
            "crush_weight": 0.0194854736328125,
            "depth": 2,
            "device_class": "hdd",
            "exists": true,
            "node_osd_id": 0,
            "node_osd_name": "osd.0",
            "primary_affinity": {
                "count": 1
            },
            "reweight": 1,
            "status": "up",
            "type": {
                "id": 0,
                "name": "osd"
            }
        }
    },
    "data_stream": {
        "dataset": "ceph.osd_tree",
        "namespace": "ep",
        "type": "logs"
    },
    "ecs": {
        "version": "8.11.0"
    },
    "elastic_agent": {
        "id": "7f9a4074-766e-4b2e-91f7-f9311ac8b74a",
        "snapshot": false,
        "version": "8.5.1"
    },
    "event": {
        "agent_id_status": "verified",
        "created": "2023-02-06T17:09:29.195Z",
        "dataset": "ceph.osd_tree",
        "ingested": "2023-02-06T17:09:30Z",
        "kind": "metric",
        "module": "ceph",
        "original": "{\"crush_weight\":0.0194854736328125,\"depth\":2,\"device_class\":\"hdd\",\"exists\":1,\"id\":0,\"name\":\"osd.0\",\"pool_weights\":{},\"primary_affinity\":1,\"reweight\":1,\"status\":\"up\",\"type\":\"osd\",\"type_id\":0}",
        "type": [
            "info"
        ]
    },
    "input": {
        "type": "httpjson"
    },
    "service": {
        "address": "http://elastic-package-service_ceph_1:8080"
    },
    "tags": [
        "preserve_original_event",
        "ceph-osd_tree",
        "forwarded"
    ]
}

ECS 字段参考

有关 ECS 字段的详细信息，请参考以下文档。

导出的字段
字段 描述 类型 指标类型

@timestamp

事件时间戳。

日期

ceph.osd_tree.children

存储桶子列表，以逗号分隔。

keyword

ceph.osd_tree.crush_weight

CRUSH 存储桶反映了它们包含的存储桶或设备的权重之和。 例如，一个包含两台主机，每台主机有两个 OSD 的机架，其权重可能为 4.0，每台主机的权重为 2.0。每个 OSD 的总和，其中每个 OSD 的权重为 1.00。

浮点型

测量值

ceph.osd_tree.depth

OSD 节点的深度。

长整型

ceph.osd_tree.device_class

OSD 的设备类别。 例如，hdd、ssd 等。

keyword

ceph.osd_tree.exists

表示 OSD 节点是否存在（1-true，0-false）。

布尔值

ceph.osd_tree.node_osd_id

OSD 或存储桶节点 ID。

长整型

ceph.osd_tree.node_osd_name

OSD 或存储桶节点名称。

keyword

ceph.osd_tree.primary_affinity.count

从主 OSD 读取数据的权重。

浮点型

测量值

ceph.osd_tree.reweight

OSD 重新加权会设置 OSD 上的覆盖权重。 此值在 0 到 1 之间，并强制 CRUSH 重新放置 (1-weight) 原本应位于该驱动器上的数据。

浮点型

ceph.osd_tree.status

OSD 的状态，应为 up 或 down。

keyword

ceph.osd_tree.type.id

OSD 或存储桶节点类型 ID。

长整型

ceph.osd_tree.type.name

OSD 或存储桶节点类型，非法类型包括 osd、host、root 等。

keyword

data_stream.dataset

数据流数据集。

constant_keyword

data_stream.namespace

数据流命名空间。

constant_keyword

data_stream.type

数据流类型。

constant_keyword

input.type

Filebeat 输入的类型。

keyword

存储池磁盘

编辑

这是 pool_disk 数据流。此数据流收集与存储池 ID、存储池名称、存储池对象、已用字节数和存储池磁盘的可用字节数相关的指标。

示例

一个 pool_disk 的示例事件如下所示

{
    "@timestamp": "2023-02-07T05:52:52.471Z",
    "agent": {
        "ephemeral_id": "eb0767e3-08fd-4b51-9325-5e22c2a46f26",
        "id": "fc67a49e-143a-47a1-96bc-0e4881f0fcb6",
        "name": "docker-fleet-agent",
        "type": "filebeat",
        "version": "8.5.1"
    },
    "ceph": {
        "pool_disk": {
            "available": {
                "bytes": 25633505280
            },
            "object": {
                "count": 4
            },
            "pool_id": 1,
            "pool_name": "device_health_metrics",
            "stored": {
                "bytes": 2142673
            },
            "used": {
                "bytes": 6488064,
                "pct": 0.0000843624584376812
            }
        }
    },
    "data_stream": {
        "dataset": "ceph.pool_disk",
        "namespace": "ep",
        "type": "logs"
    },
    "ecs": {
        "version": "8.11.0"
    },
    "elastic_agent": {
        "id": "fc67a49e-143a-47a1-96bc-0e4881f0fcb6",
        "snapshot": false,
        "version": "8.5.1"
    },
    "event": {
        "agent_id_status": "verified",
        "created": "2023-02-07T05:52:52.471Z",
        "dataset": "ceph.pool_disk",
        "ingested": "2023-02-07T05:52:53Z",
        "kind": "metric",
        "module": "ceph",
        "original": "{\"id\":1,\"name\":\"device_health_metrics\",\"stats\":{\"bytes_used\":6488064,\"kb_used\":6336,\"max_avail\":25633505280,\"objects\":4,\"percent_used\":0.0000843624584376812,\"stored\":2142673}}",
        "type": [
            "info"
        ]
    },
    "input": {
        "type": "httpjson"
    },
    "service": {
        "address": "http://elastic-package-service_ceph_1:8080"
    },
    "tags": [
        "preserve_original_event",
        "ceph-pool_disk",
        "forwarded"
    ]
}

ECS 字段参考

有关 ECS 字段的详细信息，请参考以下文档。

导出的字段
字段 描述 类型 单位 指标类型

@timestamp

事件时间戳。

日期

ceph.pool_disk.available.bytes

存储池的可用字节数。

长整型

字节

测量值

ceph.pool_disk.object.count

存储池的对象数。

长整型

测量值

ceph.pool_disk.pool_id

存储池的 ID。

长整型

ceph.pool_disk.pool_name

存储池的名称。

keyword

ceph.pool_disk.stored.bytes

存储池的存储数据。

长整型

字节

测量值

ceph.pool_disk.used.bytes

存储池的已用字节数。

长整型

字节

测量值

ceph.pool_disk.used.pct

存储池的已用字节百分比。

双精度

百分比

测量值

data_stream.dataset

数据流数据集。

constant_keyword

data_stream.namespace

数据流命名空间。

constant_keyword

data_stream.type

数据流类型。

constant_keyword

input.type

Filebeat 输入的类型。

keyword

变更日志

编辑
变更日志
版本 详细信息 Kibana 版本

1.7.0

增强 (查看拉取请求)
允许 @custom 管道访问 event.original，而无需设置 preserve_original_event。

8.13.0 或更高版本

1.6.0

增强 (查看拉取请求)
ECS 版本更新至 8.11.0。将 kibana 约束更新为 ^8.13.0。修改了字段定义，以删除 ecs@mappings 组件模板中冗余的 ECS 字段。

8.13.0 或更高版本

1.5.0

增强 (查看拉取请求)
在 data_stream.dataset 上添加全局过滤器以提高性能。

8.12.0 或更高版本

1.4.1

增强 (查看拉取请求)
使用重新索引步骤更新 README。

8.12.0 或更高版本

1.4.0

增强 (查看拉取请求)
为敏感字段启用密钥。有关更多详细信息，请参阅 https://elastic.ac.cn/guide/en/fleet/current/agent-policy.html#agent-policy-secret-values

8.12.0 或更高版本

1.3.1

错误修复 (查看拉取请求)
由于错误，为较旧的堆栈版本禁用密钥。

8.7.1 或更高版本

1.3.0

增强 (查看拉取请求)
为敏感字段启用密钥，从 8.12 开始支持。

8.7.1 或更高版本

1.2.0

增强 (查看拉取请求)
将请求跟踪器日志计数限制为五个。

8.7.1 或更高版本

1.1.0

增强 (查看拉取请求)
将软件包 format_version 更新为 3.0.0。

8.7.1 或更高版本

1.0.1

错误修复 (查看拉取请求)
向重命名处理器添加空值检查和 ignore_missing 检查

8.7.1 或更高版本

1.0.0

增强 (查看拉取请求)
使 CEPH GA。

8.7.1 或更高版本

0.10.1

错误修复 (查看拉取请求)
解决 host.ip 字段冲突。

—

0.10.0

增强 (查看拉取请求)
将所有权从 obs-service-integrations 重命名为 obs-infraobs-integrations

—

0.9.0

增强 (查看拉取请求)
添加一个新标志以启用请求跟踪

—

0.8.0

增强 (查看拉取请求)
带有可视化的 Ceph 集成软件包。

—

0.7.0

增强 (查看拉取请求)
带有“cluster_status”数据流的 Ceph 集成软件包。

—

0.6.0

增强 (查看拉取请求)
带有“cluster_disk”数据流的 Ceph 集成软件包。

—

0.5.0

增强 (查看拉取请求)
带有“pool_disk”数据流的 Ceph 集成软件包。

—

0.4.0

增强 (查看拉取请求)
带有“osd_tree”数据流的 Ceph 集成软件包。

—

0.3.0

增强 (查看拉取请求)
带有“osd_pool_stats”数据流的 Ceph 集成软件包。

—

0.2.0

增强 (查看拉取请求)
带有“cluster_health”数据流的 Ceph 集成软件包。

—

0.1.0

增强 (查看拉取请求)
带有“osd_performance”数据流的 Ceph 集成软件包。

—
« CEL 自定义 API 输入集成 Check Point 集成 »