配置属性编辑

安装完成后,通过 REST APIhdfs 存储库定义配置

PUT _snapshot/my_hdfs_repository
{
  "type": "hdfs",
  "settings": {
    "uri": "hdfs://namenode:8020/",
    "path": "elasticsearch/repositories/my_hdfs_repository",
    "conf.dfs.client.read.shortcircuit": "true"
  }
}

支持以下设置

uri

hdfs 的 uri 地址。例如:"hdfs://<主机>:<端口>/"。(必填)

path

文件系统中存储/加载数据的文件路径。例如:"path/to/file"。(必填)

load_defaults

是否加载默认的 Hadoop 配置。(默认启用)

conf.<key>

要添加到 Hadoop 配置的内联配置参数。(可选)插件仅识别 hadoop corehdfs 配置文件中面向客户端的属性。

compress

是否压缩元数据。(默认启用)

max_restore_bytes_per_sec

限制每个节点的恢复速率。默认为无限制。请注意,恢复也会通过 恢复设置 进行限制。

max_snapshot_bytes_per_sec

限制每个节点的快照速率。默认为每秒 40mb。请注意,如果设置了 托管服务的恢复设置,则默认为无限制,并且速率还会通过 恢复设置 进行限制。

readonly

使存储库变为只读。默认为 false

chunk_size

覆盖块大小。(默认禁用)

security.principal

连接到安全的 HDFS 集群时使用的 Kerberos 主体。如果您正在为 elasticsearch 节点使用服务主体,则可以在主体名称中使用 _HOST 模式,插件将在运行时将该模式替换为节点的主机名(请参阅 创建安全存储库)。

replication_factor

此存储库创建的所有新 HDFS 文件的复制因子。必须大于或等于 dfs.replication.min HDFS 选项,并且小于或等于 dfs.replication.max HDFS 选项。默认为使用 HDFS 集群设置。

关于 HDFS 可用性的说明编辑

初始化存储库时,其设置将持久保存到集群状态中。当节点上线时,它将尝试初始化其具有设置的所有存储库。如果您的集群配置了 HDFS 存储库,则集群中的所有节点在启动时都必须能够访问 HDFS。否则,节点将无法在启动时初始化存储库,并且该存储库将不可用。如果发生这种情况,您将需要删除并重新添加存储库,或者重新启动出现问题的节点。