Mistral 推理服务
编辑Mistral 推理服务
编辑创建一个推理端点，使用 mistral 服务执行推理任务。
请求
编辑PUT /_inference/<task_type>/<inference_id>
路径参数
编辑-
<inference_id> - (必填，字符串) 推理端点的唯一标识符。
-
<task_type> -
(必填，字符串) 模型将执行的推理任务类型。
可用的任务类型
-
text_embedding.
-
请求体
编辑-
chunking_settings -
(可选，对象) 分块配置对象。请参考 配置分块 了解更多关于分块的信息。
-
max_chunking_size - (可选，整数) 指定一个分块中单词的最大数量。默认为
250。此值不能高于300或低于20（对于sentence策略）或10（对于word策略）。 -
overlap - (可选，整数) 仅适用于
word分块策略。指定分块的重叠单词数量。默认为100。此值不能高于max_chunking_size的一半。 -
sentence_overlap - (可选，整数) 仅适用于
sentence分块策略。指定分块重叠的句子数量。可以是1或0。默认为1。 -
strategy - (可选，字符串) 指定分块策略。可以是
sentence或word。
-
-
service - (必填，字符串) 指定任务类型支持的服务类型。在本例中为
mistral。 -
service_settings -
(必填，对象) 用于安装推理模型的设置。
这些设置特定于
mistral服务。-
api_key -
(必填，字符串) Mistral 帐户的有效 API 密钥。您可以在 API 密钥页面 找到您的 Mistral API 密钥或创建一个新的密钥。
您只需要在创建推理模型时提供一次 API 密钥。获取推理 API 不会检索您的 API 密钥。创建推理模型后，您无法更改关联的 API 密钥。如果您想使用不同的 API 密钥，请删除推理模型并使用相同的名称和更新的 API 密钥重新创建它。
-
model - (必填，字符串) 用于推理任务的模型名称。请参考 Mistral 模型文档 获取可用的文本嵌入模型列表。
-
max_input_tokens - (可选，整数) 允许您指定在分块发生之前每个输入的最大标记数。
-
rate_limit -
(可选，对象) 默认情况下，
mistral服务将每分钟允许的请求数设置为240。这有助于最大限度地减少 Mistral API 返回的速率限制错误。要修改此设置，请在您的服务设置中设置此对象的requests_per_minute设置。"rate_limit": { "requests_per_minute": <<number_of_requests>> }
-
Mistral 服务示例
编辑以下示例演示如何创建一个名为 mistral-embeddings-test 的推理端点来执行 text_embedding 任务类型。
resp = client.inference.put(
task_type="text_embedding",
inference_id="mistral-embeddings-test",
inference_config={
"service": "mistral",
"service_settings": {
"api_key": "<api_key>",
"model": "mistral-embed"
}
},
)
print(resp)
const response = await client.inference.put({
task_type: "text_embedding",
inference_id: "mistral-embeddings-test",
inference_config: {
service: "mistral",
service_settings: {
api_key: "<api_key>",
model: "mistral-embed",
},
},
});
console.log(response);
PUT _inference/text_embedding/mistral-embeddings-test
{
"service": "mistral",
"service_settings": {
"api_key": "<api_key>",
"model": "mistral-embed"
}
}
|
|