启动训练模型部署 API
编辑启动训练模型部署 API编辑
启动新的训练模型部署。
请求编辑
POST _ml/trained_models/<model_id>/deployment/_start
先决条件编辑
需要 manage_ml 集群权限。此权限包含在 machine_learning_admin 内置角色中。
描述编辑
目前仅支持部署 pytorch 模型。部署后，模型可以在摄取管道中由 推理处理器 使用，也可以直接在 推断训练模型 API 中使用。
通过使用部署 ID，可以多次部署模型。部署 ID 必须是唯一的，并且不得与任何其他部署 ID 或模型 ID 相匹配，除非它与要部署的模型的 ID 相同。如果未设置 deployment_id，则默认为 model_id。
可以通过设置参数 number_of_allocations 和 threads_per_allocation 来扩展推理性能。
增加 threads_per_allocation 意味着在节点上处理推理请求时会使用更多线程。这可以提高某些模型的推理速度。它也可能导致吞吐量的提高。
增加 number_of_allocations 意味着使用更多线程并行处理多个推理请求，从而提高吞吐量。每个模型分配使用由 threads_per_allocation 定义的线程数。
模型分配分布在机器学习节点之间。分配给节点的所有分配共享内存中的同一个模型副本。为了避免线程过度订阅（这对性能不利），模型分配的分布方式是，使用的线程总数不超过节点分配的处理器数量。
路径参数编辑
-
<model_id> - （必填，字符串）训练模型的唯一标识符。
查询参数编辑
-
cache_size - （可选，字节值）模型在每个节点上的推理缓存大小（JVM 堆外的内存）。默认值为 获取训练模型统计信息 中
model_size_bytes字段报告的模型大小。要禁用缓存，可以提供0b。 -
deployment_id - （可选，字符串）模型部署的唯一标识符。
默认为 model_id。
-
number_of_allocations - （可选，整数）此模型在机器学习节点之间分配的分配总数。增加此值通常会提高吞吐量。默认为 1。
-
priority -
（可选，字符串）部署的优先级。默认值为
normal。有两种优先级设置-
normal：用于生产环境中的部署。部署分配的分布方式是，节点处理器不会被过度订阅。 -
low：用于测试模型功能。其目的是，这些部署不会收到大量的输入。要求部署只有一个分配，只有一个线程。低优先级部署可以分配在已经使用所有处理器的节点上，但与正常优先级部署相比，它们的 CPU 优先级更低。为了满足更多正常优先级部署的分配，低优先级部署可能会被取消分配。
-
大量使用低优先级部署可能会影响正常优先级部署的性能。
-
queue_capacity - （可选，整数）控制一次允许在队列中排队的推理请求数量。集群中可以分配模型的每个机器学习节点都有一个此大小的队列；当请求数量超过总值时，新请求将被拒绝，并显示 429 错误。默认为 1024。允许的最大值为 1000000。
-
threads_per_allocation - （可选，整数）设置每个模型分配在推理期间使用的线程数。这通常会提高每个推理请求的速度。推理过程是一个计算密集型过程；
threads_per_allocations不得超过每个节点可用的已分配处理器数量。默认为 1。必须是 2 的幂。允许的最大值为 32。 -
timeout - （可选，时间）控制等待模型部署的时间。默认为 30 秒。
-
wait_for - （可选，字符串）指定在返回之前要等待的分配状态。默认为
started。值starting表示部署正在启动，但尚未在任何节点上启动。值started表示模型已在至少一个节点上启动。值fully_allocated表示部署已在所有有效节点上启动。
示例编辑
以下示例为 elastic__distilbert-base-uncased-finetuned-conll03-english 训练模型启动新的部署
resp = client.ml.start_trained_model_deployment(
model_id="elastic__distilbert-base-uncased-finetuned-conll03-english",
wait_for="started",
timeout="1m",
)
print(resp)
POST _ml/trained_models/elastic__distilbert-base-uncased-finetuned-conll03-english/deployment/_start?wait_for=started&timeout=1m
API 返回以下结果
{
"assignment": {
"task_parameters": {
"model_id": "elastic__distilbert-base-uncased-finetuned-conll03-english",
"model_bytes": 265632637,
"threads_per_allocation" : 1,
"number_of_allocations" : 1,
"queue_capacity" : 1024,
"priority": "normal"
},
"routing_table": {
"uckeG3R8TLe2MMNBQ6AGrw": {
"routing_state": "started",
"reason": ""
}
},
"assignment_state": "started",
"start_time": "2022-11-02T11:50:34.766591Z"
}
}
使用部署 ID编辑
以下示例使用 ID my_model_for_ingest 为 my_model 训练模型启动新的部署。部署 ID 可以在推理 API 调用或推理处理器中使用。
resp = client.ml.start_trained_model_deployment(
model_id="my_model",
deployment_id="my_model_for_ingest",
)
print(resp)
POST _ml/trained_models/my_model/deployment/_start?deployment_id=my_model_for_ingest
可以使用不同的 ID 再次部署 my_model 训练模型
resp = client.ml.start_trained_model_deployment(
model_id="my_model",
deployment_id="my_model_for_search",
)
print(resp)
POST _ml/trained_models/my_model/deployment/_start?deployment_id=my_model_for_search