Google AI Studio 推理服务
编辑Google AI Studio 推理服务
编辑创建推理端点，使用 googleaistudio 服务执行推理任务。
请求
编辑PUT /_inference/<task_type>/<inference_id>
路径参数
编辑-
<inference_id> - (必填，字符串) 推理端点的唯一标识符。
-
<task_type> -
(必填，字符串) 模型将执行的推理任务类型。
可用的任务类型
-
completion, -
text_embedding.
-
请求体
编辑-
chunking_settings -
(可选，对象) 分块配置对象。请参考 配置分块 了解更多关于分块的信息。
-
max_chunking_size - (可选，整数) 指定一个分块中单词的最大大小。默认为
250。此值不能高于300或低于20（对于sentence策略）或10（对于word策略）。 -
overlap - (可选，整数) 仅用于
word分块策略。指定分块重叠的单词数量。默认为100。此值不能高于max_chunking_size的一半。 -
sentence_overlap - (可选，整数) 仅用于
sentence分块策略。指定分块重叠的句子数量。可以是1或0。默认为1。 -
strategy - (可选，字符串) 指定分块策略。可以是
sentence或word。
-
-
service - (必填，字符串) 指定任务类型支持的服务类型。在本例中为
googleaistudio。 -
service_settings -
(必填，对象) 用于安装推理模型的设置。
这些设置特定于
googleaistudio服务。-
api_key - (必填，字符串) Google Gemini API 的有效 API 密钥。
-
model_id - (必填，字符串) 用于推理任务的模型名称。您可以在 Gemini API 模型 中找到支持的模型。
-
rate_limit -
(可选，对象) 默认情况下，
googleaistudio服务将每分钟允许的请求数设置为360。这有助于最大限度地减少 Google AI Studio 返回的速率限制错误。要修改此设置，请在服务设置中设置此对象的requests_per_minute设置。"rate_limit": { "requests_per_minute": <<number_of_requests>> }
-
Google AI Studio 服务示例
编辑以下示例演示如何创建一个名为 google_ai_studio_completion 的推理端点来执行 completion 任务类型。
resp = client.inference.put(
task_type="completion",
inference_id="google_ai_studio_completion",
inference_config={
"service": "googleaistudio",
"service_settings": {
"api_key": "<api_key>",
"model_id": "<model_id>"
}
},
)
print(resp)
const response = await client.inference.put({
task_type: "completion",
inference_id: "google_ai_studio_completion",
inference_config: {
service: "googleaistudio",
service_settings: {
api_key: "<api_key>",
model_id: "<model_id>",
},
},
});
console.log(response);
PUT _inference/completion/google_ai_studio_completion
{
"service": "googleaistudio",
"service_settings": {
"api_key": "<api_key>",
"model_id": "<model_id>"
}
}