Bahubali Shetti

使用 OpenTelemetry 自动检测 Python 应用程序

了解如何使用 OpenTelemetry 自动检测 Python 应用程序。通过 Docker 文件中的标准命令,可以快速检测应用程序,而无需在多个位置编写代码,从而实现快速更改、扩展和更轻松的管理。

Automatic instrumentation with OpenTelemetry for Python applications

DevOps 和 SRE 团队正在转变软件开发的流程。DevOps 工程师专注于高效的软件应用程序和服务交付,而 SRE 团队则是确保可靠性、可扩展性和性能的关键。这些团队必须依赖于全栈可观测性解决方案,使他们能够管理和监控系统,并确保在问题影响业务之前得到解决。

跨现代分布式应用程序的整个堆栈的可观测性需要数据收集、处理和关联,通常以仪表板的形式呈现。摄取所有系统数据需要在堆栈、框架和提供程序中安装代理——对于必须处理版本更改、兼容性问题以及无法随着系统更改而扩展的专有代码的团队来说,这个过程可能具有挑战性且耗时。

多亏了 OpenTelemetry (OTel),DevOps 和 SRE 团队现在有了一种收集和发送数据的标准方法,它不依赖于专有代码,并且拥有庞大的支持社区,从而减少了供应商锁定。

之前的博客中,我们还回顾了如何使用OpenTelemetry 演示并将其连接到 Elastic®,以及 Elastic 在OpenTelemetry 可视化和 Kubernetes 方面的一些功能。

在本博客中,我们将展示如何将OpenTelemetry 的自动检测与我们的名为 Elastiflix 的应用程序的 Python 服务一起使用,这有助于以简单的方式突出显示自动检测。

这样做的好处是不需要 otel-collector!此设置使您能够根据最适合您业务的时间表,缓慢而轻松地将应用程序迁移到带有 Elastic 的 OTel。

应用程序、先决条件和配置

我们在本博客中使用的应用程序名为Elastiflix,这是一个电影流媒体应用程序。它由使用 .NET、NodeJS、Go 和 Python 编写的多个微服务组成。

在检测我们的示例应用程序之前,我们首先需要了解 Elastic 如何接收遥测数据。

所有 Elastic 可观测性的 APM 功能都可通过 OTel 数据获得。其中一些包括

  • 服务地图
  • 服务详细信息(延迟、吞吐量、失败的事务)
  • 服务之间的依赖关系、分布式跟踪
  • 事务(跟踪)
  • 机器学习 (ML) 相关性
  • 日志相关性

除了 Elastic 的 APM 和遥测数据的统一视图之外,您还可以使用 Elastic 强大的机器学习功能来减少分析和警报,以帮助减少 MTTR。

先决条件

查看示例源代码

完整的源代码(包括本博客中使用的 Dockerfile)可以在 GitHub 上找到。该存储库还包含未检测的相同应用程序。这使您可以比较每个文件并查看差异。

以下步骤将向您展示如何检测此应用程序并在命令行或 Docker 中运行它。如果您对更完整的 OTel 示例感兴趣,请查看此处的 docker-compose 文件,该文件将启动整个项目。

分步指南

第 0 步。登录您的 Elastic Cloud 帐户

本博客假设您拥有一个 Elastic Cloud 帐户——如果没有,请按照说明开始使用 Elastic Cloud

第 1 步。配置 Python 服务的自动检测

我们将使用来自Elastiflix 演示应用程序的 Python 服务的自动检测。

我们将使用 Elastiflix 中的以下服务

Elastiflix/python-favorite-otel-auto

根据OpenTelemetry Python 自动检测文档,您只需使用 pip install 安装适当的 Python 包即可。

>pip install opentelemetry-distro \
	opentelemetry-exporter-otlp

>opentelemetry-bootstrap -a install

如果您在命令行上运行 Python 服务,则可以使用以下命令

opentelemetry-instrument python main.py

对于我们的应用程序,我们将其作为 Dockerfile 的一部分执行。

Dockerfile

FROM python:3.9-slim as base

# get packages
COPY requirements.txt .
RUN pip install -r requirements.txt
WORKDIR /favoriteservice

#install opentelemetry packages
RUN pip install opentelemetry-distro \
	opentelemetry-exporter-otlp

RUN opentelemetry-bootstrap -a install

# Add the application
COPY . .

EXPOSE 5000
ENTRYPOINT [ "opentelemetry-instrument", "python", "main.py"]

第 2 步。使用环境变量运行 Docker 映像

正如OTEL Python 文档中所指定的那样,我们将使用环境变量并传入配置值,以使其能够与 Elastic 可观测性的 APM 服务器连接。

由于 Elastic 原生接受 OTLP,我们只需要提供 OTEL Exporter 需要发送数据的端点和身份验证,以及其他一些环境变量。

获取 Elastic Cloud 变量
您可以从 Kibana® 中复制端点和令牌,路径为 /app/home#/tutorial/apm。

您需要复制以下环境变量

OTEL_EXPORTER_OTLP_ENDPOINT
OTEL_EXPORTER_OTLP_HEADERS

构建镜像

docker build -t  python-otel-auto-image .

运行镜像

docker run \
       -e OTEL_EXPORTER_OTLP_ENDPOINT="<REPLACE WITH OTEL_EXPORTER_OTLP_ENDPOINT>" \
       -e OTEL_EXPORTER_OTLP_HEADERS="Authorization=Bearer%20<REPLACE WITH TOKEN>" \
       -e OTEL_RESOURCE_ATTRIBUTES="service.version=1.0,deployment.environment=production" \
       -e OTEL_SERVICE_NAME="python-favorite-otel-auto" \
       -p 5001:5001 \
       python-otel-auto-image

重要提示: 请注意,“OTEL_EXPORTER_OTLP_HEADERS” 变量中 Bearer 之后的空格被转义为 “%20” — 这是 Python 的要求。

现在您可以发出一些请求以生成跟踪数据。请注意,这些请求预计会返回错误,因为此服务依赖于您当前未运行的 Redis 连接。如前所述,您可以在这里找到使用 docker-compose 的更完整的示例。

curl localhost:5000/favorites

# or alternatively issue a request every second

while true; do curl "localhost:5000/favorites"; sleep 1; done;

步骤 3:在 Elastic APM 中探索跟踪、指标和日志

在 Elastic APM 中浏览“服务”部分,您将看到显示的 Python 服务。

单击 python-favorite-otel-auto 服务,您可以看到它正在使用 OpenTelemetry 摄取遥测数据。

在这篇博客中,我们讨论了以下内容

  • 如何使用 OpenTelemetry 自动检测 Python
  • 通过在 Dockerfile 中使用标准命令,可以高效地完成自动检测,而无需在多个位置添加代码

由于 Elastic 可以支持混合的数据摄取方法,无论是使用开源 OpenTelemetry 的自动检测还是使用其原生 APM 代理的手动检测,您都可以规划迁移到 OTel 的过程,首先关注一些应用程序,然后在后续的应用程序中使用 OpenTelemetry,以最适合您业务需求的方式进行。

开发者资源

通用配置和用例资源

还没有 Elastic Cloud 帐户?注册 Elastic Cloud 并尝试我上面讨论的自动检测功能。我很乐意收到您关于使用 Elastic 获取应用程序堆栈可见性的体验反馈。

本文中描述的任何特性或功能的发布和时间安排均由 Elastic 自行决定。任何当前不可用的特性或功能可能不会按时交付,甚至根本不会交付。

分享这篇文章