« OpenTelemetry API 桥接 性能调优 »
Elastic 文档 ›

日志

编辑

日志

编辑

Elastic Python APM Agent 提供以下日志功能

Elastic Python APM Agent 不会将日志发送到 Elasticsearch。它仅注入关联 ID 并重新格式化日志。您必须使用其他摄取策略。我们建议为此使用 Filebeat。

这些功能是 应用程序日志摄取策略的一部分。

ecs-logging-python 库也可以在没有 APM Agent 的情况下使用 ECS 日志格式。当与 Python APM Agent 一起部署时，Agent 将提供日志关联 ID。

日志关联

编辑

日志关联允许您导航到属于特定跟踪的所有日志，反之亦然：对于特定日志，查看它在哪个上下文中被记录以及用户提供了哪些参数。

该 Agent 提供了与默认 Python 日志库以及 structlog 的集成。

日志集成

编辑
logging
编辑

我们使用 logging.setLogRecordFactory() 来修饰默认的 LogRecordFactory，以自动向每个 LogRecord 对象添加新属性

  • elasticapm_transaction_id
  • elasticapm_trace_id
  • elasticapm_span_id

此工厂还使用官方的 ECS 跟踪字段将这些字段添加到字典属性 elasticapm_labels 中。

您可以通过在配置中使用 disable_log_record_factory 设置来禁用此自动行为。

structlog
编辑

我们为 structlog 提供了一个 处理器，它将向任何已处理事件的 event_dict 添加三个新键

  • transaction.id
  • trace.id
  • span.id 
from structlog import PrintLogger, wrap_logger
from structlog.processors import JSONRenderer
from elasticapm.handlers.structlog import structlog_processor

wrapped_logger = PrintLogger()
logger = wrap_logger(wrapped_logger, processors=[structlog_processor, JSONRenderer()])
log = logger.new()
log.msg("some_event")
将 structlog 用于 Agent 内部日志
编辑

Elastic APM Python Agent 使用日志来记录内部事件和问题。默认情况下，它将使用 logging 记录器。如果您的项目使用 structlog，您可以通过将环境变量 ELASTIC_APM_USE_STRUCTLOG 设置为 true 来告诉 Agent 使用 structlog 记录器。

Elasticsearch 中的日志关联

编辑

为了将您的应用程序中的日志与 Elastic APM Python Agent 捕获的事务相关联，您的日志必须包含以下一个或多个标识符

  • transaction.id
  • trace.id
  • span.id

如果您使用结构化日志，无论是使用自定义解决方案还是使用 structlog（推荐），这都相当容易。放入 JSONRenderer，并使用 Filebeat 将这些日志拉入 Elasticsearch。

如果没有结构化日志，这项任务会变得有点棘手。在这里，我们建议首先确保您的 LogRecord 对象具有 elasticapm 属性（请参阅logging），然后您需要将一些特定的格式与 Grok 模式结合使用，可以使用 Elasticsearch 中的 grok 处理器，也可以使用 logstash 和插件。

假设您有一个 Formatter，如下所示

import logging

fh = logging.FileHandler('spam.log')
formatter = logging.Formatter("%(asctime)s - %(name)s - %(levelname)s - %(message)s")
fh.setFormatter(formatter)

您只需将 Formatter 对象替换为我们提供的对象，即可添加 APM 标识符

import logging
from elasticapm.handlers.logging import Formatter

fh = logging.FileHandler('spam.log')
formatter = Formatter("%(asctime)s - %(name)s - %(levelname)s - %(message)s")
fh.setFormatter(formatter)

这会自动将特定于 apm 的字段附加到您的格式字符串中

formatstring = "%(asctime)s - %(name)s - %(levelname)s - %(message)s"
formatstring = formatstring + " | elasticapm " \
                              "transaction.id=%(elasticapm_transaction_id)s " \
                              "trace.id=%(elasticapm_trace_id)s " \
                              "span.id=%(elasticapm_span_id)s"

然后，您可以像这样使用 grok 模式（对于 Elasticsearch Grok 处理器）

{
  "description" : "...",
  "processors": [
    {
      "grok": {
        "field": "message",
        "patterns": ["%{GREEDYDATA:msg} | elasticapm transaction.id=%{DATA:transaction.id} trace.id=%{DATA:trace.id} span.id=%{DATA:span.id}"]
      }
    }
  ]
}

日志重新格式化 (实验性)

编辑

从 6.16.0 版本开始，Agent 可以自动将应用程序日志重新格式化为 ECS 格式，而无需更改依赖项。以前的版本必须安装 ecs_logging 依赖项。

日志重新格式化由 log_ecs_reformatting 配置选项控制，默认情况下处于禁用状态。

重新格式化的日志将同时包含跟踪和服务关联 ID。

« OpenTelemetry API 桥接 性能调优 »