HuggingFace 推理服务
编辑HuggingFace 推理服务
编辑创建一个推理端点，以使用 hugging_face 服务执行推理任务。
请求
编辑PUT /_inference/<task_type>/<inference_id>
路径参数
编辑-
<inference_id> - （必需，字符串）推理端点的唯一标识符。
-
<task_type> -
（必需，字符串）模型将执行的推理任务类型。
可用的任务类型
-
text_embedding.
-
请求体
编辑-
chunking_settings -
（可选，对象）分块配置对象。请参考 配置分块 以了解有关分块的更多信息。
-
max_chunking_size - （可选，整数）指定一个块的最大字数。默认为
250。此值不能高于300或低于20（对于sentence策略）或10（对于word策略）。 -
overlap - （可选，整数）仅适用于
word分块策略。指定块的重叠字数。默认为100。此值不能高于max_chunking_size的一半。 -
sentence_overlap - （可选，整数）仅适用于
sentence分块策略。指定块的重叠句子数。它可以是1或0。默认为1。 -
strategy - （可选，字符串）指定分块策略。它可以是
sentence或word。
-
-
service - （必需，字符串）指定任务类型支持的服务类型。在此案例中，为
hugging_face。 -
service_settings -
（必需，对象）用于安装推理模型的设置。
这些设置特定于
hugging_face服务。-
api_key -
（必需，字符串）您的 Hugging Face 帐户的有效访问令牌。您可以在设置页面找到您的 Hugging Face 访问令牌或创建新的访问令牌。
您只需要在推理模型创建期间提供一次 API 密钥。获取推理 API 不会检索您的 API 密钥。创建推理模型后，您无法更改关联的 API 密钥。如果您想使用不同的 API 密钥，请删除推理模型并使用相同的名称和更新的 API 密钥重新创建它。
-
url - （必需，字符串）用于请求的 URL 端点。
-
rate_limit -
（可选，对象）默认情况下，
huggingface服务将每分钟允许的请求数设置为3000。这有助于最大限度地减少从 Hugging Face 返回的速率限制错误。要修改此设置，请在您的服务设置中设置此对象的requests_per_minute设置。"rate_limit": { "requests_per_minute": <<number_of_requests>> }
-
Hugging Face 服务示例
编辑以下示例演示如何创建一个名为 hugging-face-embeddings 的推理端点，以执行 text_embedding 任务类型。
resp = client.inference.put(
task_type="text_embedding",
inference_id="hugging-face-embeddings",
inference_config={
"service": "hugging_face",
"service_settings": {
"api_key": "<access_token>",
"url": "<url_endpoint>"
}
},
)
print(resp)
const response = await client.inference.put({
task_type: "text_embedding",
inference_id: "hugging-face-embeddings",
inference_config: {
service: "hugging_face",
service_settings: {
api_key: "<access_token>",
url: "<url_endpoint>",
},
},
});
console.log(response);
PUT _inference/text_embedding/hugging-face-embeddings
{
"service": "hugging_face",
"service_settings": {
"api_key": "<access_token>",
"url": "<url_endpoint>"
}
}
|
有效的 Hugging Face 访问令牌。您可以在您帐户的设置页面上找到。 |
|
|
您在 Hugging Face 上创建的推理端点 URL。 |
在 Hugging Face 端点页面上创建一个新的推理端点以获取端点 URL。在新端点创建页面上选择您要使用的模型 - 例如 intfloat/e5-small-v2 - 然后在高级配置部分下选择 句子嵌入任务。创建端点。在端点初始化完成后复制 URL。