› › ›

获取推理 API

检索推理端点信息。

推理 API 使您能够使用某些服务，例如内置的机器学习模型（ELSER、E5）、通过 Eland 上传的模型、Cohere、OpenAI、Azure、Google AI Studio、Google Vertex AI、Anthropic、Watsonx.ai 或 Hugging Face。对于内置模型和通过 Eland 上传的模型，推理 API 提供了一种使用和管理已训练模型的替代方法。但是，如果您不打算使用推理 API 来使用这些模型，或者您想使用非 NLP 模型，请使用 机器学习已训练模型 API。

请求

编辑

GET /_inference

GET /_inference/_all

GET /_inference/<inference_id>

GET /_inference/<task_type>/_all

GET /_inference/<task_type>/<inference_id>

先决条件

编辑

需要 monitor_inference 集群权限（内置的 inference_admin 和 inference_user 角色授予此权限）

描述

编辑

您可以在单个 API 请求中获取以下信息：

通过提供任务类型和推理 ID，获取单个推理端点的信息。
通过提供任务类型和通配符表达式，获取特定任务类型的所有推理端点的信息。
通过使用通配符表达式，获取所有推理端点的信息。

路径参数

编辑

<inference_id>: （可选，字符串）推理端点的唯一标识符。
<task_type>: （可选，字符串）模型执行的推理任务类型。

示例

编辑

以下 API 调用检索有关可以执行 sparse_embedding 任务的 my-elser-model 推理模型的信息。

resp = client.inference.get(
    task_type="sparse_embedding",
    inference_id="my-elser-model",
)
print(resp)

response = client.inference.get_model(
  task_type: 'sparse_embedding',
  inference_id: 'my-elser-model'
)
puts response

const response = await client.inference.get({
  task_type: "sparse_embedding",
  inference_id: "my-elser-model",
});
console.log(response);

GET _inference/sparse_embedding/my-elser-model

API 返回以下响应

{
  "inference_id": "my-elser-model",
  "task_type": "sparse_embedding",
  "service": "elser",
  "service_settings": {
    "num_allocations": 1,
    "num_threads": 1
  },
  "task_settings": {}
}

« 删除推理 API 执行推理 API »