配置属性

编辑

安装后,通过REST API定义hdfs存储库的配置。

PUT _snapshot/my_hdfs_repository
{
  "type": "hdfs",
  "settings": {
    "uri": "hdfs://namenode:8020/",
    "path": "elasticsearch/repositories/my_hdfs_repository",
    "conf.dfs.client.read.shortcircuit": "true"
  }
}

支持以下设置:

uri

HDFS 的 uri 地址。例如:“hdfs://<主机>:<端口>/”。(必需)

path

文件系统中存储/加载数据的文件路径。例如:“path/to/file”。(必需)

load_defaults

是否加载默认 Hadoop 配置。(默认启用)

conf.<key>

要添加到 Hadoop 配置的内联配置参数。(可选)插件仅识别来自 Hadoop corehdfs 配置文件的客户端导向属性。

compress

是否压缩元数据。(默认启用)

max_restore_bytes_per_sec

限制每个节点的恢复速率。默认为无限制。请注意,恢复也通过恢复设置进行限制。

max_snapshot_bytes_per_sec

限制每个节点的快照速率。默认为每秒40mb。请注意,如果设置了托管服务的恢复设置,则默认为无限制,并且速率还会通过恢复设置额外限制。

readonly

使存储库只读。默认为false

chunk_size

覆盖块大小。(默认禁用)

security.principal

连接到安全 HDFS 集群时使用的 Kerberos 主体。如果您正在为 Elasticsearch 节点使用服务主体,则可以在主体名称中使用_HOST模式,插件将在运行时将模式替换为节点的主机名(参见创建安全存储库)。

replication_factor

此存储库创建的所有新 HDFS 文件的复制因子。必须大于或等于dfs.replication.min并且小于或等于dfs.replication.max HDFS 选项。默认为使用 HDFS 集群设置。

关于 HDFS 可用性的说明
编辑

初始化存储库时,其设置会持久保存到集群状态中。当节点上线时,它将尝试初始化所有拥有其设置的存储库。如果您的集群配置了 HDFS 存储库,则集群中的所有节点都必须能够在启动时访问 HDFS。如果没有,则节点将无法在启动时初始化存储库,并且存储库将无法使用。如果发生这种情况,您需要删除并重新添加存储库或重新启动有问题的节点。