随着基于 GenAI 的应用程序的部署日益增多，Elastic 正在通过自动化自定义日志的摄取来加速 AI 驱动的日志分析的采用。这些自定义数据源必须毫不费力地进行摄取、解析和索引，从而实现更广泛的可见性和更直接的根本原因分析 (RCA)，而无需站点可靠性工程师 (SRE) 的努力。由于诸如新应用程序、添加的系统以及到云的基础架构迁移等不断增长和变化，SRE 实现跨企业 IT 环境的可见性本身就具有挑战性。到目前为止，自定义数据的入职对 SRE 而言成本高昂且复杂。通过自动导入，SRE 可以专注于部署、优化和改进应用程序。
自动导入使用生成式 AI 来自动化自定义数据集成的开发，从而将所需时间从几天减少到不到 10 分钟，并显著降低数据入职的学习曲线。它由 Elastic Search AI 平台提供支持，提供与模型无关的访问权限，以利用大型语言模型 (LLM)，并通过检索增强生成 (RAG)在专有数据中得出答案。Elastic 在支持可观测性团队利用任何类型的数据以及其 Search AI Lake 的灵活性方面的专业知识进一步增强了此功能。当组织面临应用程序和遥测数据（如日志）激增的关键时刻，自动导入通过简化数据收集和规范化来简化数据迁移的初始阶段。它还解决了构建自定义连接器的挑战，否则可能会延迟部署、问题分析并影响客户体验。
通过自动导入增强 AI 驱动的可观测性
自动导入基于 Elastic Observability 的 AI 驱动的日志分析创新而构建，例如 异常检测、日志速率和模式分析以及 Elastic AI Assistant，并进一步自动化和简化了 SRE 的工作流程。自动导入应用生成式 AI 来自动化自定义数据集成的创建，从而使 SRE 能够专注于日志和其他遥测数据。尽管 Elastic 提供了 400 多个预构建的 数据集成，但自动导入允许 SRE 扩展集成以适应其工作流程并扩展对生产环境的可见性。
结合自动导入，Elastic 正在推出 Elastic Express Migration，这是一项旨在克服现有部署和合同的迁移惰性的商业激励计划，为新客户提供更快的采用路径。
自动导入利用 Elastic Common Schema (ECS) 和公共 LLM 来处理和分析 ECS 格式的数据，这也是 OpenTelemetry 的一部分。一旦数据进入，SRE 就可以利用 Elastic 基于 RAG 的 AI Assistant 来解决动态、复杂环境中的根本原因分析 (RCA) 挑战。
配置和使用自动导入
具有企业许可证的每个人都可以使用自动导入。以下是它的工作原理
-
用户配置与 LLM 的连接并上传示例数据
-
然后，自动导入会推断数据源的预期内容。这些日志样本与 Elastic 工程师精心设计的 LLM 提示配对，以可靠地生成符合要求的 Elasticsearch 摄取管道。
-
然后，自动导入会迭代构建、测试和调整自定义摄取管道，直到它满足 Elastic 集成要求。
由 Elastic Search AI 平台提供支持的自动导入
在几分钟内，将创建一个经过验证的自定义集成，该集成可将原始数据准确地映射到 ECS 和自定义字段，填充上下文信息（例如
自动导入目前通过Elastic 的 Amazon Bedrock 连接器支持 Anthropic 模型，并且很快将引入其他 LLM。它目前支持基于 JSON 和 NDJSON 的日志格式。
自动导入工作流程
SRE 必须不断管理开发人员添加到应用程序中的新工具和组件。Neo4j 是一个在 Elastic 中没有集成的数据库。以下步骤将引导你完成如何使用自动导入为 Neo4j 创建集成
- 首先导航到集成->创建新的集成.
- 为新的数据源提供名称和描述。
- 接下来，填写其他详细信息并提供一些示例数据，并根据你的需要进行匿名处理。
- 单击“分析日志”以将集成详细信息、示例日志和 Elastic 的专家编写的说明提交到指定的 LLM，该 LLM 使用生成式 AI 构建集成包。然后，自动导入会在自动反馈循环中微调集成，直到验证其是否满足 Elastic 要求。
- 查看自动导入呈现的 ECS 字段和自定义字段的推荐映射。如有必要，你可以轻松调整这些设置。
- 完成集成后，将其添加到 Elastic Agent 或在 Kibana 中查看。它现在与其他集成一起可用，并遵循与预构建集成相同的工作流程。
- 部署后，你可以立即开始分析新摄取的数据。首先查看 Elastic Observability 中的新日志浏览器
使用自动导入加速日志分析
自动导入将构建和测试自定义数据集成所需的时间从几天缩短到几分钟，从而加速切换到 AI 驱动的日志分析。Elastic Observability 将自动导入的独特功能与 Elastic 深入的预构建数据集成库相结合，从而实现更广泛的可见性和快速数据入职，以及基于 AI 的功能（例如 Elastic AI Assistant）来加速 RCA 并减少运营开销。
对我们的 Express Migration 计划以升级到 Elastic 感兴趣吗？联系 Elastic 以了解更多信息。
本文中描述的任何特性或功能的发布和时间安排均由 Elastic 自行决定。任何当前不可用的特性或功能可能不会按时交付，也可能根本不会交付。
在此博客文章中，我们可能使用了或提及了第三方生成式 AI 工具，这些工具由其各自的所有者拥有和运营。Elastic 对第三方工具没有任何控制权，我们对其内容、操作或使用，以及因你使用此类工具而可能造成的任何损失或损害概不负责。使用带有个人、敏感或机密信息的 AI 工具时，请务必谨慎。你提交的任何数据都可能用于 AI 训练或其他目的。我们不保证你提供的信息将保持安全或机密。你应该在使用任何生成式 AI 工具之前熟悉其隐私惯例和使用条款。
Elastic、Elasticsearch、ESRE、Elasticsearch Relevance Engine 和相关标记是 Elasticsearch N.V. 在美国和其他国家/地区的商标、徽标或注册商标。所有其他公司和产品名称均为其各自所有者的商标、徽标或注册商标。