« 删除推理 API 执行推理 API »
Elastic 文档 ›Elasticsearch 指南 [8.14] ›REST API ›推理 API

获取推理 API

编辑

获取推理 API编辑

此功能处于技术预览阶段，可能在将来的版本中发生更改或删除。Elastic 将努力解决任何问题，但技术预览中的功能不受官方 GA 功能的支撑 SLA 的约束。

检索推理端点信息。

推理 API 使您能够使用某些服务，例如内置机器学习模型（ELSER、E5）、通过 Eland、Cohere、OpenAI 或 Hugging Face 上传的模型。对于内置模型和通过 Eland 上传的模型，推理 API 提供了一种使用和管理已训练模型的替代方法。但是，如果您不打算使用推理 API 来使用这些模型，或者您想使用非 NLP 模型，请使用 机器学习训练模型 API.

请求编辑

GET /_inference

GET /_inference/_all

GET /_inference/<inference_id>

GET /_inference/<task_type>/_all

GET /_inference/<task_type>/<inference_id>

先决条件编辑

  • 需要 monitor_inference 集群权限（内置的 inference_admin 和 inference_user 角色授予此权限）

描述编辑

您可以在单个 API 请求中获取以下信息

  • 通过提供任务类型和推理 ID，获取单个推理端点的信息，
  • 通过提供任务类型和通配符表达式，获取特定任务类型的所有推理端点，
  • 通过使用通配符表达式，获取所有推理端点。

路径参数编辑

<inference_id>
(可选，字符串) 推理端点的唯一标识符。
<task_type>
(可选，字符串) 模型执行的推理任务类型。

示例编辑

以下 API 调用检索有关可以执行 sparse_embedding 任务的 my-elser-model 推理模型的信息。

resp = client.inference.get_model(
    task_type="sparse_embedding",
    inference_id="my-elser-model",
)
print(resp)
response = client.inference.get_model(
  task_type: 'sparse_embedding',
  inference_id: 'my-elser-model'
)
puts response
GET _inference/sparse_embedding/my-elser-model

API 返回以下响应

{
  "inference_id": "my-elser-model",
  "task_type": "sparse_embedding",
  "service": "elser",
  "service_settings": {
    "num_allocations": 1,
    "num_threads": 1
  },
  "task_settings": {}
}
« 删除推理 API 执行推理 API »