存储需求降低 50%
借助 Elastic Observability，Discover 部署了热-冷-冻架构，将存储成本降低了 50%。
将数据检索时间从几天缩短到几分钟
Discover 通过 Elastic Observability 将检索历史数据的时间从 24 小时以上缩短到几分钟。
加快平均修复时间
借助 Elastic Observability，Discover 可以最大限度地减少误报并优先处理警报，从而缩短平均修复时间。
领先的在线银行部署 Elastic Observability 来构建集中式日志记录平台，该平台可降低存储成本并加快长期数据检索速度。
Discover Financial Services (Discover) 拥有并运营 Discover Bank，该银行向美国数百万用户提供在线服务，例如支票和储蓄账户、个人贷款和信用卡。
这家银行必须在这个竞争激烈的市场中不断更新产品和服务，以留住和吸引新客户。这些努力导致应用程序日志数据呈指数级增长，给现有 IT 基础设施带来了压力。Discover Financial Services 新兴技术高级经理 Sunny Singh 表示：“我们始终面临着平衡平台可扩展性和成本优化的挑战。”
为了克服这些问题，该银行转向基于在 Elastic Cloud Enterprise 上运行的 Elastic Observability 的集中式日志记录平台。日志记录管道从 Filebeat 数据收集代理开始，这些代理捕获数据并将其转发到银行的 Kafka 平台，在该平台中将数据分类到 Kafka 主题中。然后，Logstash 从 Kafka 中提取数据，执行额外的处理，并将其推送到两个端点之一以进行日志数据存储和检索，每个端点都有其自身的保留期。
主要端点基于 Elasticsearch 构建，由 10 个独立的集群组成，以确保用户只能访问与其业务角色相关的日志。Kibana 用作可视化和分析工具，使团队能够创建仪表板和查看日志。
第二个端点是 Amazon S3 存储桶。这用于长期日志存储，通常为 13 个月，尽管某些数据已有七年历史。
“Elastic 立即理解了我们希望在保持高效数据检索时间的同时显着增加数据存储容量的请求。”
管理日志数据量
该银行还希望改进日志数据管理，因为数据量可能会在三个小时内从 500 万个事件波动到 5000 万个事件。Discover Financial Services 资深应用工程师 Matt Keelan 说：“一天中的时间、一周中的日期和应用程序活动等因素会导致数据量激增。开发环境内的不可预测的性能测试也可能导致激增。”
Keelan 和他的团队基于 Elastic Observability 实施了多种解决方案。一种方法涉及基于 Kafka 分区的消费者滞后自动扩展 Logstash。“通过将消费者滞后推送到 CloudWatch 指标，我们可以触发 AWS 中 Logstash 实例的自动扩展。这通过根据实时数据流动态调整 Logstash 容量来确保最佳资源利用率，”Keelan 说。
另一个解决方案解决了来自行为不端应用程序的过度日志记录。“我们在 Filebeat 中实施了速率限制，它限制了每个文件每秒接收的日志消息数量。这可以防止单个应用程序使用不必要的日志数据淹没系统。”
基兰还选择迁移到数据流，从而实现自动索引创建，无需手动维护索引列表、滚动更新和别名，这项任务通常既繁琐又耗时。此举使 Discover 能够实施索引生命周期管理 (ILM) 策略，进一步简化和改进索引管理。
另一个挑战是日志事件的告警。“我们需要为这些告警提供两种输出：电子邮件和 Moogsoft 告警系统，该系统会连接到我们的寻呼网络，”基兰说。
他通过部署 Elastic Watcher（一种高级告警和通知功能）实现了这一目标。“我们已与 Watcher 集成，可以创建告警、发送电子邮件并与 Moogsoft 集成，以便在用户的应用程序出现问题时可以寻呼用户，”基兰说。
通过热-冷-冻架构降低成本
Discover 还将其 Elasticsearch 集群从全热节点架构过渡到了热-冷-冻设置。热节点在 AWS Graviton 服务器上运行，用于快速处理大量数据。冷节点和冻结节点在 i3en 附加存储上运行，用于返回查询数据。
以前，该银行最多只能存储 30 天的实时数据。检索历史数据需要手动重新索引，通常需要 24 小时或更长时间才能满足用户请求。新的热-冷-冻架构使用户可以直接从所有三个层访问数据。它还消除了重新索引的需要，并显著减少了检索时间。
现在，冻结层的搜索仅需几分钟。“在提高性能的同时，我们将存储需求降低了 50%，”基兰说。“此外，团队可以将更多时间用于开发新功能，而不是重新索引数据。”
Elastic Observability 在帮助为客户提供不间断服务方面也发挥着关键作用。“通过更高效的日志记录，分析师可以快速检测问题、消除误报并与工程师合作解决问题，”基兰说。“自从部署 Elastic Observability 的统一全栈以来，我们的平均修复时间已缩短。”
Elastic Observability：未来发展的基础
该项目带来的最大好处之一是 Discover 和 Elastic 利益相关者之间现在建立的信任和信心。辛格说：“我们与 Elastic 及其工程团队建立的关系非常宝贵，我们从他们的专业知识中学到了很多。这确实使我们的工程师对这项技术充满信心。”
这也让辛格和 Discover 团队对未来充满信心。“Elastic 在我们前进的每一步都为我们提供了帮助，帮助我们扩展平台并将其提升到一个新的水平，”辛格说。“他们还为我们提供了有关新产品和功能以及如何将其应用于我们自己的部署的宝贵见解。”
辛格还认为，Elastic Observability 是该组织 AI 战略的关键组成部分，因为它正在为客户开发日益个性化的服务。“Discover 正在积极探索在其平台中集成生成式 AI 模型。通过利用 Elasticsearch 的可扩展性和集成能力，我们可以继续为我们的客户提供最先进的在线体验。”
“Elastic 绝对会对我们正在做的事情产生积极的影响。新功能的不断发布使我们能够加速为客户开发新产品和服务。”
通过 Elastic 和 Equinox 开启可观测性的未来。 立即观看，获取变革性见解！
与 Equinox 平台工程总监 Joel Miller 和 Elastic 解决方案架构师 Thaddeus Walsh 一起探讨如何通过统一的可观测性改造您的组织。
