自动导入
Elastic Stack Serverless Security
自动导入可以帮助您快速解析、提取和创建ECS 映射，以便从尚无预构建 Elastic 集成的数据源中获取数据。这可以加速您迁移到 Elastic Security，并帮助您快速将新的数据源添加到 Elastic Security 中的现有 SIEM 解决方案。自动导入使用具有专门指令的大型语言模型 (LLM)，以快速分析您的源数据并创建自定义集成。
虽然 Elastic 拥有 400 多个预构建数据集成，但自动导入可以帮助您将数据覆盖范围扩展到其他与安全相关的技术和应用程序。 Elastic 集成（包括自动导入创建的集成）将数据规范化为Elastic 通用模式 (ECS)，从而在仪表盘、搜索、警报、机器学习等方面创建统一性。
单击此处以访问交互式演示，该演示在您自己设置之前展示了该功能。
- 可用的LLM 连接器。
- Elastic Stack 用户：企业版订阅。
- Serverless 用户：Security Analytics Complete 订阅。
- 要导入的数据样本。
要使用自动导入，您必须提供要导入的数据样本。 LLM 将处理该样本并自动创建一个适合处理该样本所代表的数据的集成。 任何结构化或非结构化格式均可接受，包括但不限于 JSON、NDJSON、CSV、Syslog。
- 您可以上传任意大小的样本。 LLM 将检测其格式并选择最多 100 个文档进行详细分析。
- 样本中的种类越多，管道就越准确。 为了获得最佳效果，请在样本中包含各种独特的日志条目，而不是重复类似的日志。
- 上传 CSV 时，将自动识别带有列名的标题。 但是，如果不存在标题，LLM 仍将尝试根据字段格式和值创建描述性字段名称。
- 对于 JSON 和 NDJSON 样本，样本中的每个对象都应代表一个事件，并且应避免深度嵌套的对象结构。
- 当您选择
API (CEL input)作为数据源之一时，系统将提示您提供相关的 OpenAPI 规范 (OAS) 文件，以生成使用此 API 的 CEL 程序。
请注意，自动导入中的 CEL 生成处于 Beta 阶段，可能会发生变化。 该设计和代码不如官方 GA 功能成熟，因此按原样提供，不提供任何保证。 Beta 功能不受官方 GA 功能的支持 SLA 的约束。
您可以使用任何 LLM 进行自动导入，但是模型性能会有所不同。 自动导入的模型性能与攻击发现的模型性能相似； 在攻击发现中表现良好的模型在自动导入中也表现良好。 请参阅大型语言模型性能矩阵。
使用自动导入允许用户通过使用第三方生成式 AI 模型（“GAI 模型”）来创建新的第三方数据集成。 您选择使用的任何第三方 GAI 模型均由其各自的提供商拥有和运营。 Elastic 不拥有或控制这些第三方 GAI 模型，也不影响其设计、培训或数据处理实践。 将第三方 GAI 模型与 Elastic 解决方案一起使用，并将您的数据与第三方 GAI 模型一起使用由您自行决定。 Elastic 对这些第三方 GAI 模型的内容、操作或使用不承担任何责任或义务，也不对因使用它们而引起的任何潜在损失或损害负责。 建议用户在使用 GAI 模型处理个人、敏感或机密信息时谨慎行事，因为提交的数据可能用于训练模型或用于其他目的。 Elastic 建议您在使用任何第三方 GAI 模型之前，先熟悉其开发实践和使用条款。 您有责任确保您对自动导入的使用符合您连接的任何第三方平台的条款和条件。
在 Elastic Security 中，单击添加集成。
在找不到集成？下，单击创建新集成。
单击创建集成。
选择一个LLM 连接器。
通过提供标题、描述和徽标来定义您的新集成在“集成”页面上的显示方式。 单击下一步。
定义您的集成的程序包名称，该名称将作为导入的事件字段的前缀。
定义您的数据流标题、数据流描述和数据流名称。 这些字段显示在集成的配置页面上，以帮助识别它写入的数据流。
选择您的数据收集方法。 这决定了您的新集成将如何提取数据（例如，从 S3 存储桶、HTTP 端点或文件流）。
导入 CEL 数据如果您选择 API (CEL input)，您还可以选择在此处上传 API 的 OAS 文件。 完成后，LLM 将使用它来确定要在新的自定义集成中使用哪些 API 端点（仅 GET）、查询参数和数据结构。 然后，您将选择要使用的 API 端点和身份验证方法，然后再上传示例数据。
上传您的数据样本。 确保包含您希望新集成处理的所有类型的事件。
单击分析日志，然后等待处理完成。 这可能需要几分钟。
处理完成后，将显示管道的字段映射，包括 ECS 和自定义字段。
（可选）在查看建议的管道之后，您可以通过单击编辑管道对其进行微调。 请参阅Elastic Security ECS 参考，以了解有关格式化字段映射的更多信息。 对更改感到满意后，请单击保存。
如何编辑 CEL 程序如果您的新集成从 API 收集数据，您可以从新集成的集成策略更新 CEL 输入配置（程序和 API 身份验证信息）。
单击添加到 Elastic。 出现成功消息后，您的新集成将在“集成”页面上可用。
单击添加到代理以部署您的新集成并开始收集数据，或单击查看集成以查看有关您的新集成的详细信息。
（可选）添加集成后，您可以通过转到项目设置 → Stack Management → 摄取管道来编辑摄取管道。
您可以使用数据质量仪表盘来检查您的数据摄取管道和字段映射的运行状况。