什么是日志分析？

日志分析是搜索、调查和可视化由 IT 系统生成并以时间顺序存储为日志的数据的过程。 日志分析比 日志监控 更进了一步，允许 可观察性 团队发现整个组织的模式和 异常。这可以帮助他们快速解决应用程序和系统问题，并提供运营洞察力，以应对未来的问题。日志分析还可以应用于存档日志中的历史数据，以获得更多洞察力。

日志数据呈指数级增长。在人工生成和机器生成的数据之间，日志记录工具需要扩展以管理数据流入。传统的分析工具难以处理当今复杂系统中日志数据的种类和数量。如果没有集中式、强大的日志记录平台，挑战（和成本）可能会增加。因为数据是了解您的业务流程如何运行的关键，并且可以帮助您规划未来。

自从计算机生成记录问世以来，组织就一直在尝试大规模地审查日志。但是，日志是在整个 IT 生态系统中生成的。许多日志不包含所需的所有信息，并且通常格式不一致。在现代工具中，日志分析过程会集中这些信息并对其进行转换，以便于使用。

由于日志数据持续增长，因此必须考虑如何在未来存储和访问这些信息。能够处理大量数据使得将日志用于其他目的（如安全、欺诈、异常检测等）变得更加容易。日志分析用例正在不断扩展，例如分析客户如何浏览网站、人们在使用应用程序时在哪些方面感到沮丧等等。

执行日志分析归结为几个关键步骤。

1. 收集和集中数据

   首先，将所有日志收集到一个中心位置。将所有内容集中在一起将更容易进行分析。集中所有日志后，重要的是对其进行解析和索引。日志从不同的系统收集数据，这也意味着命名约定、格式、架构等方面可能存在差异。在开始时标准化术语可以节省在日志分析过程中可能出现的数小时的混乱（或错误）。详细了解 日志聚合。

2. 分析数据

   现在是时候搜索和分析（运行查询）以进行模式识别了。根据软件的不同，此步骤可能涉及 可视化工具。报告仪表板可以帮助为非技术用户和组织外部的人员汇总数据。此外，与查看详细日志相比，通过查看图表更容易发现趋势和异常。

3. 设置监控和警报

   在您尝试解决问题时，日志分析至关重要。但是，组织可以看到最大投资回报率的地方是设置实时监控和警报。例如，关联分析可以从不同的来源找到都源于单个特定事件的消息。然后，您的系统可以根据日志中识别的模式确定哪些事件需要警报。当条件发生变化时，可以实时通知团队。这通过提供有关发生的事情、发生的地点、发生的时间、发生的原因以及它如何影响性能的即时信息来加快恢复时间。

获取日志管理的最佳实践

SRE、IT 运营、DevOps 工程师和 IT 企业架构师是日志分析工具的主要用户。有些组织必须审查日志以进行合规性审计，这可能会扩展用户和利益相关者的列表。

日志分析和应用程序性能监控 (APM)密切相关。日志分析解释来自整个组织的数据以解决问题并做出明智的业务决策，而 APM 则更详细地监控单个应用程序及其行为。目标是确保积极的客户体验和客户交易。

APM 跟踪性能指标（如响应时间、延迟和错误），以帮助查明可能影响用户的问。一旦 APM 检测到异常或问题，就会关联并显示相关日志（和指标），以进行进一步的故障排除和根本原因分析。通过监控用户，组织可以了解信息的访问方式，并进行改进以减少客户流失。

许多运营问题的答案都可以在日志中找到。团队可以利用日志来

• 改善客户体验（并减少客户流失）：查看用户如何与应用程序互动，以做出更好的决策，让他们保持参与并更轻松地导航。
• 减少资源使用和延迟：确定组织中哪些地方的资源未得到优化，并解决性能问题。
• 识别客户行为：您的客户对什么感兴趣？哪些客户最活跃，他们要去哪里？日志提供了一个收集信息的机会，以便您可以个性化您的销售和营销材料。
• 发现可疑活动：不良行为者会在您的组织中留下痕迹。分析行为可以帮助您在他们获得有价值的数据之前阻止他们。
• 遵守审计：对于需要遵守标准和法规的公司来说，审计是经常发生的事情。使用日志分析可以帮助确保审计不会失败。

日志分析的主要挑战包括

• 规模：随着日志的增长，团队面临的挑战也会增加。许多日志分析工具在审查企业日志时难以扩展，组织越来越多地寻求 IT 运维人工智能 (AIOps) 来管理如此庞大的数据量。
• 集中化：拥有一个单一的平台来查看组织中发生的事情是日志分析的最大好处之一。但是日志数据多种多样，而且通常是孤立的。过时的架构可能无法与现代工具集成。团队需要标准化日志，以便轻松分析信息。
• 成本：并非所有日志数据都需要随时可用，但是当团队需要它时，他们现在就需要它。具有数据层的经济高效的存储可以减少开销。
• 数据多样性：鉴于当今跨多个服务和系统的分布式应用程序的复杂性，日志数据同样多种多样。从跨基础架构、应用程序和服务的结构化日志到非结构化日志，需要规范化和理解您的日志数据以进行有效查询至关重要。

从实时应用程序和性能监控到根本原因分析和SIEM，日志分析可以帮助彻底改变您的业务。但是日志分析可以用来帮助更多的事情。组织可以利用日志数据来确保符合安全策略，检查在线用户行为，并总体上做出更好的业务决策。

您存储日志数据的位置取决于您希望立即访问信息的时间长度以及数据的容量。对于长期存储，Amazon Simple Storage Service (S3)、AWS Glacier 或归档存储都可以使用。另一种方法是将它们直接存储在分布式存储系统中，例如可以提供不同存储层的Elasticsearch。在决定使用哪种工具时，重要的是要检查在分析之前重新激活数据的容易程度。使用某些工具，团队需要等待长达24 小时才能搜索数据。

要充分利用日志，您需要一个日志分析工具，该工具可以集中并自动处理特定事件的日志。然后，团队可以执行更深入的分析，以提取有意义的见解并根据模式进行预测。它还需要能够处理大量日志的规模和以毫秒（而不是分钟）为单位提供所需答案的速度。

作为最流行和部署最广泛的日志管理和搜索工具之一，Elastic 可观测性（构建在Elasticsearch之上）提供了强大而灵活的日志管理和分析。从本地部署到Elastic Cloud，无论是用于可观测性还是安全计划，Elastic 都可以轻松扩展以处理 PB 级日志数据，以进行故障排除和洞察。

使用 Elastic，您可以获得

• 易于部署，适用于各种用例
• 规模和可靠性（高达 PB 级数据）
• 与您的团队已经使用的工具集成 - 以及平台内置的先进机器学习功能
• 通过简单的数据层策略降低成本，因此您只需为使用的内容付费
• 集中式日志管理

无论您是想将日志分析用于可观测性还是安全性，Elastic 都允许您一次摄取，随处使用。

使用 Elastic 进行日志分析

• 使用 Elastic Stack 进行日志分析
• 日志监控解决方案