资产与参与者
梳理敏感数据、凭证、动作、系统、日志、模型、提示词、代码、用户、管理员、供应商、攻击者和信任边界。
应该评审完整系统,而不只是模型。追踪不可信内容怎样进入检索和工具,在提示词外执行身份与最小权限,隔离租户和秘密,限制数据外传与依赖,验证每项高影响动作,并演练检测、撤权、恢复和证据保存。
作者 Onyx Devs Lab · 发布 · 更新
Agent 风险来自内容、记忆、工具、身份、供应商和业务系统之间的互动。
梳理敏感数据、凭证、动作、系统、日志、模型、提示词、代码、用户、管理员、供应商、攻击者和信任边界。
测试提示与间接注入、混淆代理、跨租户、数据投毒、秘密泄露、工具滥用、不安全文件与网址、依赖受损、拒绝服务和内部滥用。
分类保密、完整性、可用性、财务、法律、安全、客户和运营影响,识别强制控制及仍然禁止的动作。
自然语言政策不是访问控制、交易或恢复系统。
验证用户与服务,在目标端授权,使用有限短期凭证,隔离环境和租户,限制网络并保护秘密创建、存储、使用和轮换。
验证有类型输入输出,把确认绑定到确切动作,配置白名单、限额、沙箱和外传控制,扫描内容并验证最终状态。
记录执行者、上下文、政策、工具、目标、请求、结果和模型/配置版本;检测滥用、支持停止开关、撤权、对账状态、恢复服务和保存证据。
记录架构、资产、参与者、信任边界、数据流、工具、供应商、失败影响、假设和禁止动作。
使用已授权场景测试注入、权限绕过、跨租户、外传、工具滥用、重放、竞态、局部失败、依赖中断和日志缺口。
记录负责人、严重度、利用条件、受影响资产、修复、补偿控制、重测证据、例外权和到期日。
只发布已经测试的用户、数据、工具、限额、环境和监控,演练控制、撤权、恢复和通知。
不够。它只覆盖部分供应商风险,不包括你的身份、数据、检索、工具、集成、配置、用户、监控和事故响应。
不可以。提示可以引导行为,但可执行政策必须位于身份、授权、网络、数据、工具、交易和监控控制。
只读取有限授权来源,提供引用,不把秘密放入上下文,监控使用,有明确拒答和合资格人工复核。