什么是日志监控？
等等，什么是日志？
日志数据是在各种系统和应用程序运行时生成的的信息。这些数据可能包括系统事件、错误消息、性能指标和用户活动。 例如，日志可以提供故障记录以及故障发生的时间，这将使您能够找到代码中的错误以解决问题。每个日志都带有时间戳，并显示在特定时间点发生的事件。
日志可以显示操作系统中发生的事件 - 这些事件包括连接尝试、错误和配置更改。这些类型的日志被称为系统日志。
相反，应用程序日志显示有关应用程序软件堆栈中发生的事件的信息，尤其是在专用代理、防火墙和其他软件应用程序中。这些类型的日志记录软件更改、CRUD 操作、应用程序身份验证等等。
日志监控的历史是什么？
日志监控有着悠久的历史。如今，大多数开发者都依靠可观察性工具来满足他们的日志监控需求。然而，在过去，日志是手动审查的。在 Unix 最早的时代，开发者使用文本和搜索工具来审查他们的日志文件。
手动审查日志不再是可行的选择。数据的数量实在太大，人类无法理解。团队需要快速审查日志，以便在日志减慢业务速度之前解决问题。值得庆幸的是，随着越来越多的日志生成，该行业在自动化日志监控部分方面也取得了重大进展。
如今的组织拥有各种强大的工具来帮助他们有效地进行日志监控。这是必不可少的，因为现代系统拥有相互依赖的应用程序网络，所有这些都需要进行跟踪。日志监控工具现在提供集中式数据存储和自动化，这对拥有分布式云应用程序的组织至关重要。
为什么日志监控很重要？
审查和监控系统和应用程序中的事件日志可能看起来并不特别重要，尤其是在一切正常运行的情况下。但是，能够有效地监控日志文件对组织具有巨大的影响。
当问题出现时，团队需要能够深入研究并审查日志，以便他们能够查明特定事件和实例。一旦识别出异常，团队就可以解决问题，以确保系统始终安全，最终用户始终拥有无缝的体验。
如果没有强大的日志监控，团队就会陷入黑暗，无法监控系统和应用程序的性能和可用性，也无法提供出色的客户体验。由于云应用程序的分布式性质，这尤其复杂且有风险。随着如此多的数据流入，组织需要强大的日志监控来掌握他们的业务。
日志监控有哪些好处？
很明显，日志监控很重要，但为什么它在企业规模上特别重要？企业往往会处理和生成大量的日志数据。随着数据量的增加，日志监控需要更加强大，并监控系统和应用程序的性能和可用性，以提供积极的客户体验。
以下是企业日志监控的一些主要好处
集中数据以提供跨运营的可见性
如今的日志监控工具提供了集中式体验。开发人员可以到一个地方监控所有系统和应用程序日志。这种集中式方法可以立即了解系统运行情况，而无需开发人员深入挖掘不同的系统。由于所有内容都集中在一起，因此响应速度更快、效率更高，从而节省了时间和资源。
允许更快地响应事件
当日志在集中式解决方案中自动监控并可供查看时，审查日志、检测问题以及快速响应任何事件变得容易得多。从最终用户的角度来看，快速性能很重要——没有人希望事件影响用户。但从安全角度来看，这一点也很重要。任何漏洞或漏洞都需要立即进行故障排除，以降低风险。
自动化以节省时间
随着如此多的数据生成，企业被越来越多的日志淹没，这些日志变得极其难以解析。日志监控工具不仅可以监控日志，还可以自动标记或纠正问题。这些不断改进的自动化功能为繁忙的团队节省了大量时间。
将相同的日志用于可观察性和安全操作
当日志监控集中化时，它可以用于不止一个目的。现代企业可以使用相同的日志进行可观察性和安全操作，从而简化工作流程并减少在单独工具上花费的时间。
日志监控面临哪些挑战？
尽管组织几十年来一直在监控日志，但许多组织一直以零散的方式进行监控，依赖于传统方法和传统平台。然而，随着数据量的增加，想要保持竞争力的企业必须迎接挑战，采用新的日志监控工具。
以下是进行日志监控的一些主要挑战
比以往任何时候都更加复杂
随着比以往任何时候都更多的数据被创建、处理和存储，技术变得越来越复杂。云计算创建了更多系统，虚拟和短暂的对象创建了虚拟日志。所有这些意味着更多日志和更多数据，使得监控日志变得更加困难。组织需要更好、更强大的工具来筛选所有这些数据。
日志的增加量和不同的格式
日志量呈指数级增长，并且存在不同的日志形式。各种系统生成日志，这些日志以结构化或非结构化形式出现，没有通用格式。这意味着可观察性专家必须破译日志的含义，这需要大量资源。组织必须创建标准化格式才能有效地监控其日志。
传统数据孤岛
许多企业继续使用分布式系统而不是集中式系统。这种方法不仅由于创建的容量而产生高昂的成本，而且还会给开发人员和运营团队带来额外的工作，而当数据集中时，这些团队的效率会更高。
传统的手动和零散方法
尽管日志监控平台取得了重大进展，但许多方法过于手动。这些手动方法既耗时又容易出现人为错误，而且往往过时，这会使组织面临风险。有时，这些方法也是零散的，这意味着问题可能无法被发现。
日志监控用例
许多不同的系统和设备都会生成日志。在企业中，日志监控最常用于以下方面
网络监控
防火墙、交换机、路由器和负载均衡器等网络设备会生成日志，然后需要监控这些日志。
基础设施监控
基础设施日志监控跟踪内部部署和云解决方案，例如虚拟机、AWS 或 Azure 等平台、Kubernetes 等容器平台、第三方数据源和开源软件。
应用程序监控
应用程序日志监控通常包括两种类型的应用程序：（1）最终用户体验的应用程序，以及（2）分布式应用程序中的服务。应用程序监控很重要，因为应用程序性能会影响客户体验。例如，如果服务停机，客户可能会离开网站或应用程序。数据库也被视为应用程序。
合规性
企业在法律上需要保留某些类型的数据。为了保持合规性，他们需要将日志数据存储一定时间。这样，如果发生任何事件，他们就可以查看历史记录。
选择日志监控解决方案时要考虑的事项
进行日志监控的企业需要一个能够提高团队生产力和效率的平台。选择日志监控解决方案时，请考虑以下几点
集中式数据
对于来自各种来源、类型各异的大量日志，您需要选择一个提供集中式数据的平台。集中式视图将使解析日志数据变得更加容易和高效。
可操作的警报
查找错误条件和模式匹配只是第一步。能够有效地对日志中的异常情况进行操作和警报对于日志监控至关重要。有效的平台需要筛选和优先处理日志监控警报，以识别现在需要解决的问题以及需要由 IT 运营团队调查的问题。将AIOps和机器学习应用于您的监控是减少最终用户警报疲劳的一种方法。
经济实惠或具有 ROI 证明
您不希望仅仅因为工具最便宜就选择它，但您确实希望选择一个经济实惠或具有 ROI 证明的平台。进行成本分析以了解您正在考虑的日志监控解决方案的权衡取舍是值得的。
完整的可观察性解决方案——不仅仅是日志监控
日志监控只是可观察性的一部分。为了获得最大价值，最好寻找一个提供全套可观察性解决方案的平台。日志监控只提供故事的一部分。
关于日志监控的常见问题解答
了解有关日志监控的更多信息。
日志监控和日志分析有什么区别？
日志监控和日志分析密切相关，并协同工作以确保系统平稳运行。日志监控处理跟踪和监控日志，而日志分析提供更多上下文，以便团队可以了解最佳行动方案。
日志监控的一些最佳实践是什么？
大规模进行日志监控的组织需要一个将日志管理集中化的企业系统。这些系统需要管理复杂系统创建的大量日志，并采用分层方法来处理日志，从而降低持续成本。
使用 Elastic 进行日志监控
作为日志监控领域的公认领导者，Elastic 可观察性（由Elasticsearch 引擎提供支持）提供了强大而灵活的日志监控功能。从内部部署到Elastic Cloud，无论是用于可观察性还是安全计划，Elastic 都可以轻松扩展以处理 PB 级别的日志数据，以便团队可以快速进行故障排除。使用 Elastic，您可以获得
- 适用于您的用例的轻松部署
- 无论您的数据大小如何，都能实现可扩展性和可靠性
- 与团队喜爱的工具集成——以及内置的机器学习功能
- 通过简单的分层数据策略降低成本（您只需为消耗的数据付费）
- 集中式日志管理
除了监控和警报之外，Elastic 的灵活存储功能还允许您保留历史日志数据，以便将来进行分析、调查和发现。无论您是出于可观察性还是安全目的监控日志，Elastic 都允许您一次摄取，并在任何地方使用。