创建推理 API
编辑创建推理 API
编辑创建推理端点以执行推理任务。
- 推理 API 使您能够使用某些服务，例如内置机器学习模型（ELSER、E5）、通过 Eland、Cohere、OpenAI、Mistral、Azure OpenAI、Google AI Studio、Google Vertex AI、Anthropic、Watsonx.ai 或 Hugging Face 上传的模型。
- 对于内置模型和通过 Eland 上传的模型，推理 API 提供了一种使用和管理已训练模型的替代方法。但是，如果您不打算使用推理 API 来使用这些模型，或者如果要使用非 NLP 模型，请使用机器学习已训练模型 API。
请求
编辑PUT /_inference/<task_type>/<inference_id>
先决条件
编辑- 需要
manage_inference集群权限（内置的inference_admin角色授予此权限）
路径参数
编辑-
<inference_id> - （必需，字符串）推理端点的唯一标识符。
-
<task_type> -
（必需，字符串）模型将执行的推理任务的类型。
有关可用的任务类型，请参阅API 描述部分中的服务列表。
描述
编辑创建推理 API 使您能够创建推理端点并配置机器学习模型以执行特定的推理任务。
以下服务可通过推理 API 使用。您可以在服务名称旁边找到可用的任务类型。点击链接以查看服务的配置详细信息
-
阿里云 AI 搜索 (
completion,rerank,sparse_embedding,text_embedding) -
Amazon Bedrock (
completion,text_embedding) -
Anthropic (
completion) -
Azure AI Studio (
completion,text_embedding) -
Azure OpenAI (
completion,text_embedding) -
Cohere (
completion,rerank,text_embedding) -
Elasticsearch (
rerank,sparse_embedding,text_embedding- 此服务用于内置模型和通过 Eland 上传的模型) -
ELSER (
sparse_embedding) -
Google AI Studio (
completion,text_embedding) -
Google Vertex AI (
rerank,text_embedding) -
Hugging Face (
text_embedding) -
Mistral (
text_embedding) -
OpenAI (
completion,text_embedding) -
Watsonx 推理服务 (
text_embedding)
Elasticsearch 和 ELSER 服务在 Elasticsearch 集群中的机器学习节点上运行。其余服务连接到外部提供商。