监控 Microsoft Azure OpenAI

本教程将向您展示如何使用 Elastic Azure OpenAI 集成、Azure 门户和 Elastic Agent，通过 Elastic 可观测性收集和监控 Azure OpenAI 日志和指标。

您将学到什么编辑

您将学习如何

步骤 1：设置 Azure 以收集日志编辑

Elastic Azure OpenAI 集成会捕获审计日志以及请求和响应日志。

有关从审计日志以及请求和响应日志中提取的字段的更多信息，请参阅 Azure OpenAI 集成 文档。

在 Elastic Agent 可以收集您的日志并将其发送到 Kibana 之前，请在 Azure 门户 中完成以下步骤

创建事件中心编辑

Azure 事件中心 是一个数据流平台和事件提取服务，您可以使用它在将 Azure 日志发送到 Elasticsearch 之前存储它们。 对于本教程，您将创建一个事件中心，因为您要从一项服务中收集日志。

要创建 Azure 事件中心，请执行以下操作

配置诊断设置编辑

每个创建日志的 Azure 服务都有诊断设置，允许您将日志和指标导出到外部目标。 在此步骤中，您将配置 Azure OpenAI 服务以将审计日志以及请求和响应日志导出到您在上一步中创建的事件中心。

要配置诊断设置以导出日志，请执行以下操作

创建存储帐户容器编辑

Elastic Agent 将使用者组信息（状态、位置或偏移量）存储在存储帐户容器中。 将此信息提供给 Elastic Agent 允许它们共享日志处理，并在重新启动后从上次处理的日志恢复。 Elastic Agent 可以对所有集成使用一个存储帐户容器。 代理使用集成名称和事件中心名称来标识用于唯一存储使用者组信息的 Blob。

要创建存储帐户，请执行以下操作

步骤 2：设置 Azure 以收集指标编辑

Azure OpenAI 集成指标数据流收集 Azure OpenAI 服务特有的认知服务指标。 在 Elastic Agent 可以收集您的指标并将其发送到 Kibana 之前，它需要一个应用程序注册来代表您访问 Azure 并使用 Azure API 收集数据。

在您的 Azure 实例中完成以下步骤以注册新的 Azure 应用

创建应用注册编辑

要注册您的应用，请执行以下操作

创建凭据并将其添加到您的应用编辑

凭据允许您的应用访问 Azure API 并对其自身进行身份验证，因此您无需在运行时执行任何操作。 Elastic Azure OpenAI 集成使用客户端密钥进行身份验证。

要创建和添加客户端密钥，请执行以下操作

将角色分配添加到您的应用编辑

要将角色分配添加到您的应用，请执行以下操作

步骤 3：配置 Azure OpenAI 集成编辑

配置日志收集编辑

要收集 Azure OpenAI 日志，请为以下必填字段指定值

配置指标收集编辑

要收集 Azure OpenAI 指标，请为以下必填字段指定值

完成集成配置后，单击 保存并继续。您将收到一条通知，告知您已添加集成。选择 将 Elastic Agent 添加到您的主机。

步骤 4：安装 Elastic Agent编辑

您可以在任何可以访问 Azure 帐户并将事件转发到 Elasticsearch 的主机上安装 Elastic Agent。

Elastic Agent 需要几分钟时间才能注册到 Fleet、下载策略中指定的配置并开始收集数据。您可以等待确认传入数据，也可以关闭窗口。

步骤 5：在 Kibana 中查看日志和指标编辑

现在，您的日志和指标数据正在流式传输到 Elasticsearch，您可以在 Kibana 中查看它们。您可以通过以下选项查看数据

使用概览仪表板查看日志和指标编辑

Elastic Azure OpenAI 集成附带一个内置的概览仪表板，用于可视化您的日志和指标数据。要查看集成仪表板，请执行以下操作

在这里，您将找到 Azure OpenAI 服务重要指标的可视化，例如请求率、错误率、令牌使用情况和聊天完成延迟。要放大数据，请在可视化中单击并拖动条形图。

有关仪表板和可视化的更多信息，请参阅 仪表板和可视化 文档。

使用 Discover 查看日志和指标编辑

从 Kibana 菜单的 分析 下，转到 Discover。从数据视图下拉列表中，选择 logs-* 或 metrics-* 以查看特定数据。您还可以创建数据视图，例如，如果您想同时查看 logs-* 和 metrics-*。

在这里，您可以过滤数据并深入了解各个日志，以查找信息并解决问题。有关您可能希望按其过滤的 Azure OpenAI 字段列表，请参阅 Azure OpenAI 集成 文档。

有关使用 Discover 和创建数据视图的更多信息，请参阅 Discover 文档。

使用 Logs Explorer 查看日志编辑

要查看 Azure OpenAI 日志，请打开 Kibana 并转到 可观察性 → Logs Explorer。使用 Logs Explorer，您可以快速搜索和过滤日志数据、获取有关日志字段结构的信息，以及在可视化中显示您的发现。

在 Logs Explorer 中，您可以从数据选择器中选择 Azure OpenAI 集成以查看您的 Kubernetes 数据。

在这里，您可以过滤日志数据并深入了解各个日志，以查找信息并解决问题。有关您可能希望按其过滤的 Azure OpenAI 字段列表，请参阅 Azure OpenAI 集成 文档。

有关 Logs Explorer 的更多信息，请参阅

步骤 6：使用 OpenTelemetry 监控 Microsoft Azure OpenAI APM编辑

Azure OpenAI API 提供了有用的数据来帮助监控和了解您的代码。使用 OpenTelemetry，您可以将这些数据摄取到 Elastic 可观察性中。然后，您可以查看和分析您的数据，以监控应用程序的成本和性能。

在本教程中，我们将使用一个 示例 Python 应用程序 和 Python OpenTelemetry 库来检测应用程序并将数据发送到可观察性。

设置环境变量编辑

要开始为您的 Azure OpenAI 应用程序收集 APM 数据，请从您的 Elastic Cloud 实例收集 OpenTelemetry OTLP 导出器端点和身份验证标头。

使用 APM 集成的配置值以及您的 Azure OpenAI API 密钥和端点，使用命令行上的 export 命令设置以下环境变量：

export AZURE_OPENAI_API_KEY="your-Azure-OpenAI-API-key"
export AZURE_OPENAI_ENDPOINT="your-Azure-OpenAI-endpoint"
export OPENAI_API_VERSION="your_api_version"
export OTEL_EXPORTER_OTLP_HEADERS="Authorization=Bearer%20<your-otel-exporter-auth-header>"
export OTEL_EXPORTER_OTLP_ENDPOINT="your-otel-exporter-endpoint"
export OTEL_RESOURCE_ATTRIBUTES=service.name=your-service-name

下载 Python 库编辑

使用以下命令安装必要的 Python 库：

pip3 install openai flask opentelemetry-distro[otlp] opentelemetry-instrumentation

检测应用程序编辑

以下代码来自 示例应用程序。在实际用例中，您需要将 import 语句添加到您的代码中。

我们在本教程中使用的应用程序是一个简单的示例，它使用以下消息调用 Azure OpenAI API：“如何将我的 APM 数据发送到 Elastic 可观测性？”

import os

from flask import Flask
from openai import AzureOpenAI
from opentelemetry import trace

from monitor import count_completion_requests_and_tokens


# Initialize Flask app
app = Flask(__name__)

# Set OpenAI API key
client = AzureOpenAI(
    api_key=os.getenv("AZURE_OPENAI_API_KEY"),
    api_version=os.getenv("OPENAI_API_VERSION"),
    azure_endpoint=os.getenv("AZURE_OPENAI_ENDPOINT"),
)

# Monkey-patch the openai.Completion.create function
client.chat.completions.create = count_completion_requests_and_tokens(
    client.chat.completions.create
)

tracer = trace.get_tracer("counter")


@app.route("/completion")
@tracer.start_as_current_span("completion")
def completion():
    response = client.chat.completions.create(
        model="gpt-4",
        messages=[
            {
                "role": "user",
                "content": "How do I send my APM data to Elastic Observability?",
            }
        ],
        max_tokens=20,
        temperature=0,
    )
    return response.choices[0].message.content.strip()

该代码使用猴子补丁（Python 中的一种技术，通过修改类的属性或方法来动态修改其在运行时的行为）来修改 chat.completions 调用的行为，以便我们可以将响应指标添加到 OpenTelemetry span 中。

示例应用程序中的 monitor.py 文件 用于检测应用程序，并且可以用于检测您自己的应用程序。

def count_completion_requests_and_tokens(func):
    @wraps(func)
    def wrapper(*args, **kwargs):
        counters["completion_count"] += 1
        response = func(*args, **kwargs)

        token_count = response.usage.total_tokens
        prompt_tokens = response.usage.prompt_tokens
        completion_tokens = response.usage.completion_tokens
        cost = calculate_cost(response)
        strResponse = json.dumps(response, default=str)

        # Set OpenTelemetry attributes
        span = trace.get_current_span()
        if span:
            span.set_attribute("completion_count", counters["completion_count"])
            span.set_attribute("token_count", token_count)
            span.set_attribute("prompt_tokens", prompt_tokens)
            span.set_attribute("completion_tokens", completion_tokens)
            span.set_attribute("model", response.model)
            span.set_attribute("cost", cost)
            span.set_attribute("response", strResponse)
        return response

    return wrapper

将此数据添加到我们的 span 中，我们可以将其发送到我们的 OTLP 端点，以便您可以在可观测性中搜索数据并构建仪表板和可视化。

实现以下函数允许您计算向 OpenAI API 发出单个请求的成本。

def calculate_cost(response):
    if response.model in ["gpt-4", "gpt-4-0314"]:
        cost = (
            response.usage.prompt_tokens * 0.03
            + response.usage.completion_tokens * 0.06
        ) / 1000
    elif response.model in ["gpt-4-32k", "gpt-4-32k-0314"]:
        cost = (
            response.usage.prompt_tokens * 0.06
            + response.usage.completion_tokens * 0.12
        ) / 1000
    elif "gpt-3.5-turbo" in response.model:
        cost = response.usage.total_tokens * 0.002 / 1000
    elif "davinci" in response.model:
        cost = response.usage.total_tokens * 0.02 / 1000
    elif "curie" in response.model:
        cost = response.usage.total_tokens * 0.002 / 1000
    elif "babbage" in response.model:
        cost = response.usage.total_tokens * 0.0005 / 1000
    elif "ada" in response.model:
        cost = response.usage.total_tokens * 0.0004 / 1000
    else:
        cost = 0
    return cost

要下载示例应用程序并亲自试用，请访问 GitHub 存储库。

在 Kibana 中查看来自 OpenTelemetry 的 APM 数据编辑

提取数据后，您可以使用 Kibana 中的“发现”功能对其进行过滤和探索。从 分析 下的 Kibana 菜单中，转到 发现。然后，您可以按 OpenTelemetry 发送到可观测性的字段进行过滤，包括：

然后，使用这些字段创建可视化并构建仪表板。有关更多信息，请参阅 仪表板和可视化 文档。

下一步是什么？编辑

现在您知道了如何查找和可视化您的 Azure OpenAI 日志和指标，您将希望确保充分利用您的数据。Elastic 提供了一些有用的工具来帮助您做到这一点：