New

The executive guide to generative AI

Read more
About usPartnersSupport|Login
« 推理训练模型 API 停止训练模型部署 API »
Elastic 文档 ›Elasticsearch 指南 [8.17] ›REST API ›机器学习训练模型 API

启动训练模型部署 API

编辑

启动训练模型部署 API

编辑

启动新的训练模型部署。

请求

编辑

POST _ml/trained_models/<model_id>/deployment/_start

先决条件

编辑

需要 manage_ml 集群权限。此权限包含在 machine_learning_admin 内置角色中。

描述

编辑

目前仅支持部署 pytorch 模型。部署后，该模型可以通过摄取管道中的 推理处理器 或直接在 推理训练模型 API 中使用。

可以使用部署 ID 多次部署模型。部署 ID 必须是唯一的，并且不应与任何其他部署 ID 或模型 ID 匹配，除非它与正在部署的模型的 ID 相同。如果未设置 deployment_id，则默认为 model_id。

您可以启用自适应分配，以根据进程的实际资源需求自动向上或向下扩展模型分配。

可以通过设置参数 number_of_allocations 和 threads_per_allocation 来手动扩展推理性能。

增加 threads_per_allocation 意味着在节点上处理推理请求时使用更多线程。这可以提高某些模型的推理速度。它也可能导致吞吐量的提高。

增加 number_of_allocations 意味着使用更多线程并行处理多个推理请求，从而提高吞吐量。每个模型分配使用 threads_per_allocation 定义的线程数。

模型分配分布在机器学习节点上。分配给节点的所有分配在内存中共享同一份模型副本。为了避免对性能不利的线程过度订阅，模型分配以这样一种方式分布，即使用的线程总数不会超过节点的分配处理器。

路径参数

编辑
<model_id>
（必需，字符串）训练模型的唯一标识符。

查询参数

编辑
deployment_id

（可选，字符串）模型部署的唯一标识符。

默认为 model_id。

timeout
（可选，时间）控制等待模型部署的时间。默认为 30 秒。
wait_for
（可选，字符串）指定在返回之前要等待的分配状态。默认为 started。值 starting 表示部署正在启动但尚未在任何节点上启动。值 started 表示模型已在至少一个节点上启动。值 fully_allocated 表示部署已在所有有效节点上启动。

请求正文

编辑
adaptive_allocations

（可选，对象）自适应分配配置对象。如果启用，则根据进程获得的当前负载设置模型的分配数量。当负载较高时，会自动创建一个新的模型分配（如果设置了 max_number_of_allocations，则会遵循该值）。当负载较低时，会自动删除模型分配（如果设置了 min_number_of_allocations，则会遵循该值）。如果启用了 adaptive_allocations，则不要手动设置分配数量。

enabled
（可选，布尔值）如果为 true，则启用 adaptive_allocations。默认为 false。
max_number_of_allocations
（可选，整数）指定要扩展到的最大分配数量。如果设置，则必须大于或等于 min_number_of_allocations。
min_number_of_allocations
（可选，整数）指定要扩展到的最小分配数量。如果设置，则必须大于或等于 0。如果未定义，则部署将扩展到 0。
cache_size
（可选，字节值）每个节点的模型推理缓存大小（JVM 堆之外的内存中）。在无服务器环境中，默认情况下禁用缓存。否则，默认值是 获取训练模型统计信息 中 model_size_bytes 字段报告的模型大小。要禁用缓存，可以提供 0b。
number_of_allocations
（可选，整数）此模型分配给机器学习节点的总分配数。增加此值通常会增加吞吐量。默认为 1。如果启用了 adaptive_allocations，则不要设置此值，因为它会自动设置。
priority

（可选，字符串）部署的优先级。默认值为 normal。有两个优先级设置

  • normal：在生产中使用此设置进行部署。分配部署时，会使节点处理器不会过度订阅。
  • low：使用此设置测试模型功能。目的是这些部署不会发送大量输入。部署必须具有单个分配和一个线程。低优先级部署可能会分配到已利用所有处理器的节点上，但其 CPU 优先级将低于正常部署。为了满足更多正常优先级部署的分配，可能会取消分配低优先级部署。

大量使用低优先级部署可能会影响正常优先级部署的性能。

queue_capacity
（可选，整数）控制队列中一次允许的推理请求数量。集群中可以分配模型的每个机器学习节点都有一个此大小的队列；当请求数超过总值时，将拒绝新请求并返回 429 错误。默认为 1024。允许的最大值为 1000000。
threads_per_allocation
（可选，整数）设置每个模型分配在推理期间使用的线程数。这通常会提高每个推理请求的速度。推理过程是一个计算密集型过程；threads_per_allocations 不得超过每个节点可用的分配处理器数。默认为 1。必须为 2 的幂。允许的最大值为 32。

示例

编辑

以下示例为 elastic__distilbert-base-uncased-finetuned-conll03-english 训练模型启动新的部署

resp = client.ml.start_trained_model_deployment(
    model_id="elastic__distilbert-base-uncased-finetuned-conll03-english",
    wait_for="started",
    timeout="1m",
)
print(resp)
const response = await client.ml.startTrainedModelDeployment({
  model_id: "elastic__distilbert-base-uncased-finetuned-conll03-english",
  wait_for: "started",
  timeout: "1m",
});
console.log(response);
POST _ml/trained_models/elastic__distilbert-base-uncased-finetuned-conll03-english/deployment/_start?wait_for=started&timeout=1m
Copy as curlTry in Elastic 

API 返回以下结果

{
    "assignment": {
        "task_parameters": {
            "model_id": "elastic__distilbert-base-uncased-finetuned-conll03-english",
            "model_bytes": 265632637,
            "threads_per_allocation" : 1,
            "number_of_allocations" : 1,
            "queue_capacity" : 1024,
            "priority": "normal"
        },
        "routing_table": {
            "uckeG3R8TLe2MMNBQ6AGrw": {
                "routing_state": "started",
                "reason": ""
            }
        },
        "assignment_state": "started",
        "start_time": "2022-11-02T11:50:34.766591Z"
    }
}

使用部署 ID

编辑

以下示例为 ID 为 my_model_for_ingest 的 my_model 训练模型启动新的部署。部署 ID 可用于推理 API 调用或推理处理器中。

resp = client.ml.start_trained_model_deployment(
    model_id="my_model",
    deployment_id="my_model_for_ingest",
)
print(resp)
const response = await client.ml.startTrainedModelDeployment({
  model_id: "my_model",
  deployment_id: "my_model_for_ingest",
});
console.log(response);
POST _ml/trained_models/my_model/deployment/_start?deployment_id=my_model_for_ingest
Copy as curlTry in Elastic 

可以使用不同的 ID 再次部署 my_model 训练模型

resp = client.ml.start_trained_model_deployment(
    model_id="my_model",
    deployment_id="my_model_for_search",
)
print(resp)
const response = await client.ml.startTrainedModelDeployment({
  model_id: "my_model",
  deployment_id: "my_model_for_search",
});
console.log(response);
POST _ml/trained_models/my_model/deployment/_start?deployment_id=my_model_for_search
Copy as curlTry in Elastic 

设置自适应分配

编辑

以下示例使用 ID my_model_for_search 启动 my_model 训练模型的新部署，并启用自适应分配，最小分配数为 3，最大分配数为 10。

resp = client.ml.start_trained_model_deployment(
    model_id="my_model",
    deployment_id="my_model_for_search",
)
print(resp)
const response = await client.ml.startTrainedModelDeployment({
  model_id: "my_model",
  deployment_id: "my_model_for_search",
});
console.log(response);
POST _ml/trained_models/my_model/deployment/_start?deployment_id=my_model_for_search
{
  "adaptive_allocations": {
    "enabled": true,
    "min_number_of_allocations": 3,
    "max_number_of_allocations": 10
  }
}
Copy as curlTry in Elastic 
« 推理训练模型 API 停止训练模型部署 API »