什么是日志分析？

日志分析是指搜索、调查和可视化 IT 系统生成的数据的过程，这些数据以时间顺序的日志形式存储。 日志分析比 日志监控 更进一步，它允许 可观测性 团队发现整个组织中的模式和 异常。这可以帮助他们快速解决应用程序和系统问题，并提供运营见解，以便提前解决未来的问题。日志分析也可以应用于存档日志中的历史数据，以获得额外的见解。

日志数据呈指数级增长。在人为生成的数据和机器生成的数据之间，日志工具需要扩展以管理大量涌入的数据。传统的分析工具在当今复杂系统中难以处理各种各样的日志数据和大量数据。如果没有集中、强大的日志平台，挑战（和成本）可能会增加。因为数据是了解您的业务流程当前如何运行以及帮助您规划未来的关键。

自计算机生成记录开始以来，组织一直在尝试大规模审查日志。但是，日志是在整个 IT 生态系统中生成的。许多日志不包含所有必需的信息，并且通常格式不一致。在现代工具中，日志分析过程将这些信息集中起来并进行翻译，以便更容易使用。

由于日志数据持续增长，因此考虑如何存储和访问未来的这些信息至关重要。能够处理大量数据可以更容易地将日志用于其他目的，例如安全性、欺诈、异常检测等。日志分析的用例不断扩展，例如分析客户如何浏览网站、人们在使用应用程序时在哪里感到沮丧等等。

执行日志分析可以归结为几个关键步骤。

1. 收集和集中数据

   首先，将所有日志收集在一个中心位置。将所有内容放在一起会使其更容易分析。一旦所有日志都集中起来，就必须解析和索引它们。日志从不同的系统收集数据，这也意味着命名约定、格式、架构等可能存在差异。在开始时标准化术语可以节省在日志分析过程中可能发生的数小时的混乱（或错误）。了解更多关于 日志聚合 的信息。

2. 分析数据

   现在是时候搜索和分析（运行查询）以进行模式识别了。根据软件的不同，此步骤可能涉及可视化工具。报告仪表板可以帮助为非技术用户和组织外部人员汇总数据。此外，与详细日志相比，查看图表更容易发现趋势和异常情况。

3. 设置监控和警报

   当您尝试解决问题时，日志分析至关重要。但是，组织可以获得最大投资回报的地方是设置实时监控和警报。例如，关联分析可以找到来自不同来源的消息，这些消息都源于一个单一的特定事件。然后，您的系统可以根据日志中识别的模式来确定哪些事件需要警报。当条件发生变化时，团队可以实时收到通知。这通过提供有关发生的事情、地点、时间、原因以及如何影响性能的即时信息来加快恢复时间。

获取日志管理的最佳实践

SRE、IT 运维、DevOps 工程师和 IT 企业架构师是日志分析工具的主要用户。一些组织还必须审查日志以进行合规性审计，这可能会扩大用户和利益相关者的列表。

日志分析和应用程序性能监控 (APM) 紧密相连。日志分析解释来自整个组织的数据以解决问题并做出明智的业务决策，而 APM 则更详细地监控各个应用程序及其行为。目标是确保积极的客户体验和客户交易。

APM 跟踪性能指标（如响应时间、延迟和错误），以帮助查明可能影响用户的问题。一旦 APM 检测到异常或问题，相关的日志（和指标）就会被关联并呈现出来，以进行进一步的故障排除和根本原因分析。通过监控用户，组织可以了解信息的访问方式，并做出改进以减少客户流失。

许多关于运营问题的答案都可以在日志中找到。团队可以利用日志来：

• 改善客户体验（并减少流失）： 审查用户如何与应用程序交互，从而做出更好的决策，使他们保持参与并更轻松地导航。
• 减少资源使用和延迟： 识别组织中哪些资源未被优化，并解决性能问题。
• 识别客户行为： 您的客户对什么感兴趣？哪些客户最活跃？他们要去哪里？日志提供了一个收集信息的机会，以便您可以个性化您的销售和营销材料。
• 发现可疑活动： 不良行为者会在您的组织中留下痕迹。分析行为可以帮助阻止他们在访问有价值的数据之前。
• 符合审计： 对于需要遵守标准和法规的公司而言，审计是经常发生的。使用日志分析可以帮助确保审计不会失败。

日志分析的主要挑战包括：

• 规模： 随着日志的增长，团队面临的挑战也会增加。许多日志分析工具在审查企业日志时难以扩展，组织越来越多地寻求 AI for IT Operations (AIOps) 来管理这些数据量。
• 集中化： 拥有一个单一的管理平台来查看组织中发生的事情是日志分析的最大好处之一。但是，日志数据是多种多样的，并且通常是孤立的。过时的架构可能无法与现代工具集成。团队需要标准化日志，以便可以轻松分析信息。
• 成本： 并非所有日志数据都需要随时可用，但当团队需要时，他们需要立即获得。具有数据分层的经济高效的存储可以减少开销。
• 多样的数据： 鉴于当今跨多个服务和系统的分布式应用程序的复杂性，日志数据也同样多样。从基础设施、应用程序和服务中的结构化到非结构化日志，为了高效查询，规范化和理解您的日志数据至关重要。

从实时应用程序和性能监控到根本原因分析和SIEM，日志分析可以帮助彻底改变您的业务。但是，日志分析还可以用于帮助解决更多问题。组织可以利用日志数据来确保符合安全策略、检查在线用户行为，并总体上做出更好的业务决策。

您在哪里存储日志数据取决于您希望立即访问信息的时间以及数据的量。对于长期存储，可以使用 Amazon Simple Storage Service (S3)、AWS Glacier 或归档存储。另一种方法是将它们直接存储在分布式存储系统中，例如 Elasticsearch，它可以提供不同的存储层。在决定工具时，检查在分析之前重新激活数据有多容易非常重要。对于某些工具，团队需要等待长达 24 小时才能搜索数据。

为了充分利用日志，您需要一个可以集中化并自动处理特定事件日志的日志分析工具。然后，团队可以执行更深入的分析，以提取有意义的见解，并根据模式进行预测。它还需要有处理大量日志的规模以及以毫秒（而不是分钟）为单位提供所需答案的速度。

作为最流行和部署最广泛的日志管理和搜索工具之一，Elastic 可观测性（基于Elasticsearch构建）提供了强大而灵活的日志管理和分析。从本地到 Elastic Cloud，无论是出于可观测性还是安全性目的，Elastic 都可以轻松扩展以处理 PB 级的日志数据，从而进行故障排除和洞察。

使用 Elastic，您可以获得：

• 易于部署，可适用于各种用例
• 规模和可靠性（高达 PB 级的数据）
• 与团队已使用的工具集成，以及平台内置的高级机器学习功能
• 通过简单的数据分层策略降低成本，因此您只需为消费的内容付费
• 集中式日志管理

无论您是想将日志分析用于可观测性还是安全性，Elastic 都允许您一次摄取并在任何地方利用。

使用 Elastic 进行日志分析

• 使用 Elastic Stack 进行日志分析
• 日志监控解决方案