› › ›

HuggingFace 推理服务

编辑

HuggingFace 推理服务

编辑

创建一个推理端点，使用 hugging_face 服务执行推理任务。

请求

编辑

PUT /_inference/<task_type>/<inference_id>

路径参数

编辑

<inference_id>

(必填，字符串) 推理端点的唯一标识符。

<task_type>

(必填，字符串) 模型将执行的推理任务类型。

可用任务类型

text_embedding.

请求体

编辑

chunking_settings

(可选，对象) 分块配置对象。请参考配置分块了解有关分块的更多信息。

max_chunking_size: (可选，整数) 指定分块的最大大小（以字为单位）。默认为 250。此值不能高于 300 或低于 20（对于 sentence 策略）或 10（对于 word 策略）。
overlap: (可选，整数) 仅适用于 word 分块策略。指定分块的重叠字数。默认为 100。此值不能高于 max_chunking_size 的一半。
sentence_overlap: (可选，整数) 仅适用于 sentence 分块策略。指定分块的重叠句子数。可以是 1 或 0。默认为 1。
strategy: (可选，字符串) 指定分块策略。可以是 sentence 或 word。

service

(必填，字符串) 指定任务类型支持的服务类型。在本例中为 hugging_face。

service_settings

(必填，对象) 用于安装推理模型的设置。

这些设置特定于 hugging_face 服务。

api_key

(必填，字符串) 您 Hugging Face 帐户的有效访问令牌。您可以在设置页面上找到您的 Hugging Face 访问令牌或创建一个新的令牌。

您只需要在创建推理模型时提供一次 API 密钥。获取推理 API 不会检索您的 API 密钥。创建推理模型后，您无法更改关联的 API 密钥。如果您想使用不同的 API 密钥，请删除推理模型并使用相同的名称和更新的 API 密钥重新创建它。

url

(必填，字符串) 用于请求的 URL 端点。

rate_limit

(可选，对象) 默认情况下，huggingface 服务将每分钟允许的请求数设置为 3000。这有助于最大限度地减少 Hugging Face 返回的速率限制错误。要修改此设置，请在您的服务设置中设置此对象的 requests_per_minute 设置。

"rate_limit": {
    "requests_per_minute": <<number_of_requests>>
}

Hugging Face 服务示例

编辑

以下示例演示如何创建一个名为 hugging-face-embeddings 的推理端点来执行 text_embedding 任务类型。

resp = client.inference.put(
    task_type="text_embedding",
    inference_id="hugging-face-embeddings",
    inference_config={
        "service": "hugging_face",
        "service_settings": {
            "api_key": "<access_token>",
            "url": "<url_endpoint>"
        }
    },
)
print(resp)

const response = await client.inference.put({
  task_type: "text_embedding",
  inference_id: "hugging-face-embeddings",
  inference_config: {
    service: "hugging_face",
    service_settings: {
      api_key: "<access_token>",
      url: "<url_endpoint>",
    },
  },
});
console.log(response);

PUT _inference/text_embedding/hugging-face-embeddings
{
  "service": "hugging_face",
  "service_settings": {
    "api_key": "<access_token>", 
    "url": "<url_endpoint>" 
  }
}

	一个有效的 Hugging Face 访问令牌。您可以在您帐户的设置页面上找到它。
	您在 Hugging Face 上创建的推理端点 URL。

在 Hugging Face 端点页面上创建一个新的推理端点以获取端点 URL。在新端点创建页面上选择您要使用的模型 - 例如 intfloat/e5-small-v2 - 然后在“高级配置”部分下选择 Sentence Embeddings 任务。创建端点。端点初始化完成后复制 URL。

Hugging Face 服务推荐模型列表

« Google Vertex AI 推理服务 Mistral 推理服务 »