检测到异常高置信度违规阻止
编辑检测到异常高置信度违规阻止
编辑检测到重复出现的高置信度BLOCKED操作，并结合特定的违规代码（例如MISCONDUCT），表明存在持续的滥用或试图探测模型伦理边界的行为。
规则类型: esql
规则索引: 无
严重性: 高
风险评分: 73
每隔: 10 分钟
搜索索引范围: now-60m (日期数学格式，另请参见 额外回溯时间)
每次执行的最大告警数: 100
参考:
标签:
- 领域: LLM
- 数据源: AWS Bedrock
- 数据源: AWS S3
- 用例: 策略违规
- Mitre Atlas: T0051
- Mitre Atlas: T0054
版本: 4
规则作者:
- Elastic
规则许可证: Elastic License v2
调查指南
编辑分类和分析
调查 Amazon Bedrock 保护栏高置信度违规阻止。
Amazon Bedrock 保护栏是 Amazon Bedrock 中的一套功能，旨在帮助企业在其生成式 AI 应用中应用强大的安全和隐私控制。
它使用户能够设置指导原则和过滤器，以管理内容质量、相关性和对负责任 AI 实践的遵守情况。
通过保护栏，组织可以定义“拒绝主题”，以防止模型生成关于特定、不希望有的主题的内容，并且可以为有害内容类别（包括仇恨言论、暴力或攻击性语言）设置阈值。
可能的调查步骤
- 识别查询被拒绝主题的用户帐户，以及该帐户是否应该执行此类操作。
- 调查过去 48 小时内与用户帐户关联的其他告警。
- 考虑一天中的时间。如果用户是人类（而不是程序或脚本），活动是否发生在正常时间段内？
- 检查过去 24 小时内帐户的提示和回复。
- 如果您怀疑帐户已被泄露，请通过跟踪过去 24 小时内帐户访问的 Amazon Bedrock 模型、生成的提示以及对提示的回复来确定可能受影响的资产范围。
误报分析
- 验证查询被拒绝主题的用户帐户，是否没有测试任何新的模型部署或 Amazon Bedrock 保护栏中更新的合规性策略。
响应和补救
- 根据分类的结果启动事件响应流程。
- 在调查和响应期间禁用或限制帐户。
- 确定事件的可能影响并相应地确定优先级；以下操作可以帮助您获得上下文
- 识别帐户在云环境中的角色。
- 确定攻击者是否正在横向移动并泄露其他 Amazon Bedrock 服务。
- 确定与该活动相关的任何监管或法律后果。
- 审查分配给这些请求背后的相关用户组或角色的权限，以确保它们是授权的并且预期可以访问 Bedrock，并确保遵循最小权限原则。
- 确定攻击者滥用的初始载体，并采取措施防止通过相同载体再次感染。
- 利用事件响应数据，更新日志记录和审计策略，以提高平均检测时间 (MTTD) 和平均响应时间 (MTTR)。
设置
编辑设置
此规则要求在 AWS Bedrock 中配置保护栏。有关更多信息，请参阅 AWS Bedrock 文档
https://docs.aws.amazon.com/bedrock/latest/userguide/guardrails-create.html
规则查询
编辑from logs-aws_bedrock.invocation-* | MV_EXPAND gen_ai.compliance.violation_code | MV_EXPAND gen_ai.policy.confidence | where gen_ai.policy.action == "BLOCKED" and gen_ai.policy.confidence LIKE "HIGH" and gen_ai.compliance.violation_code LIKE "MISCONDUCT" | keep user.id | stats high_confidence_blocks = count() by user.id | where high_confidence_blocks > 5 | sort high_confidence_blocks desc