› › ›

更新推理 API

更新推理端点。

推理 API 使您能够使用某些服务，例如内置的机器学习模型（ELSER、E5）、通过 Eland 上传的模型、Cohere、OpenAI、Azure、Google AI Studio、Google Vertex AI、Anthropic、Watsonx.ai 或 Hugging Face。对于内置模型和通过 Eland 上传的模型，推理 API 提供了一种使用和管理训练模型的替代方法。但是，如果您不打算使用推理 API 来使用这些模型，或者您想使用非 NLP 模型，请使用机器学习训练模型 API。

请求

编辑

POST _inference/<inference_id>/_update

POST _inference/<task_type>/<inference_id>/_update

先决条件

编辑

需要 manage_inference 集群权限 (内置的 inference_admin 角色授予此权限)
需要一个已存在的推理端点，该端点通过使用创建推理 API创建

描述

编辑

更新推理 API 使您能够更新现有推理端点的 task_settings、secrets 和/或 num_allocations。

要使用更新 API，您可以修改 task_settings、secrets（在 service_settings 中）或 num_allocations，具体取决于您创建的特定端点服务和 task_type。要查看可更新的 task_settings、secrets 的字段名称（特定于每个服务）以及 num_allocations 适用的服务（仅适用于 elasticsearch 服务），请参阅以下通过推理 API 提供的服务列表。您将在每个服务名称旁边找到可用的任务类型。单击链接查看服务配置详细信息

阿里云 AI 搜索 (completion, rerank, sparse_embedding, text_embedding)
Amazon Bedrock (completion, text_embedding)
Anthropic (completion)
Azure AI Studio (completion, text_embedding)
Azure OpenAI (completion, text_embedding)
Cohere (completion, rerank, text_embedding)
Elasticsearch (rerank, sparse_embedding, text_embedding - 此服务适用于内置模型和通过 Eland 上传的模型)
ELSER (sparse_embedding)
Google AI Studio (completion, text_embedding)
Google Vertex AI (rerank, text_embedding)
Hugging Face (text_embedding)
Mistral (text_embedding)
OpenAI (completion, text_embedding)

路径参数

编辑

<inference_id>: (必需，字符串) 推理端点的唯一标识符。
<task_type>: (可选，字符串) 模型执行的推理任务的类型。请参考API 描述部分中的服务列表，了解可用的任务类型。

示例

编辑

以下示例演示如何更新名为 my-inference-endpoint 的推理端点的 API 密钥

resp = client.inference.inference(
    task_type="my-inference-endpoint",
    inference_id="_update",
    service_settings={
        "api_key": "<API_KEY>"
    },
)
print(resp)

const response = await client.inference.inference({
  task_type: "my-inference-endpoint",
  inference_id: "_update",
  service_settings: {
    api_key: "<API_KEY>",
  },
});
console.log(response);

POST _inference/my-inference-endpoint/_update
{
 "service_settings": {
   "api_key": "<API_KEY>"
 }
}

« 流式推理 API 阿里云 AI 搜索推理服务 »