我们很高兴地宣布 Azure OpenAI 集成正式上线，该集成可全面观测 Azure OpenAI 服务的性能和使用情况！另请参阅本博客的第 2 部分。
尽管我们已经提供了一段时间的LLM 环境可见性，但我们添加的 Azure OpenAI 集成可以更丰富地开箱即用地了解基于 Azure OpenAI 的应用程序的性能和使用情况，从而进一步增强 LLM 的可观测性。
Azure OpenAI 集成利用 Elastic Agent 的 Azure 集成功能来收集日志（使用 Azure 事件中心）和指标（使用 Azure 监视器），从而深入了解 Azure OpenAI 服务的使用情况。
该集成包括一个开箱即用的仪表板，总结了服务使用情况的最相关方面，包括请求和错误率、令牌使用情况和聊天完成延迟。
创建警报和 SLO 以监视 Azure OpenAI
与每个其他 Elastic 集成一样，所有 日志和指标信息都可以在 Elastic 可观测性的每个功能中充分利用，包括 SLO、警报、自定义仪表板、深入的日志探索等。
例如，要创建警报来监视令牌使用情况，请从 Azure OpenAI 数据流上的自定义阈值规则开始，并设置聚合条件来跟踪和报告超过特定阈值的令牌使用情况违规行为。
发生违规时，该警报的警报通知中链接的“警报详细信息”视图会提供围绕违规的丰富上下文，例如违规开始的时间、当前状态以及任何此类违规的先前历史记录，从而可以快速进行分类、调查和根本原因分析。
同样，要创建 SLO 来监视 Azure OpenAI 调用中的错误率，请从自定义查询 SLI 定义开始，将好的事件添加到 400 或更高的任何结果签名，总值包括所有响应。然后，通过设置适当的 SLO 目标（例如 99%），开始在 7 天、30 天或 90 天的时间内监视 Azure OpenAI 错误率 SLO，以跟踪降级并在问题蔓延之前采取措施。
请参阅用户指南，了解更多信息并开始使用！