检测到异常的高置信度不当行为阻止

编辑

检测到异常的高置信度不当行为阻止编辑

检测到重复的高置信度阻止操作以及具体的违规代码,如不当行为,表明持续滥用或试图探测模型的道德界限。

规则类型: esql

规则索引: 无

严重性: 高

风险评分: 73

每隔: 10m

从以下时间开始搜索索引: now-60m (日期数学格式,另请参见 附加回溯时间)

每次执行的最大警报数: 100

参考:

标签:

  • 域:LLM
  • 数据源:AWS Bedrock
  • 数据源:AWS S3
  • 用例:策略违规
  • Mitre Atlas:T0051
  • Mitre Atlas:T0054

版本: 1

规则作者:

  • Elastic

规则许可: Elastic License v2

设置编辑

设置

此规则要求在 AWS Bedrock 中配置防护栏。有关更多信息,请参阅 AWS Bedrock 文档

https://docs.aws.amazon.com/bedrock/latest/userguide/guardrails-create.html

规则查询编辑

from logs-aws_bedrock.invocation-*
| where gen_ai.policy.confidence == "HIGH" and gen_ai.policy.action == "BLOCKED" and gen_ai.compliance.violation_code == "MISCONDUCT"
| stats high_confidence_blocks = count() by user.id
| where high_confidence_blocks > 5
| sort high_confidence_blocks desc