企业 AI 安全

企业应该怎样进行 AI Agent 安全评审?

应该评审完整系统,而不只是模型。追踪不可信内容怎样进入检索和工具,在提示词外执行身份与最小权限,隔离租户和秘密,限制数据外传与依赖,验证每项高影响动作,并演练检测、撤权、恢复和证据保存。

威胁用户、内容、模型、工具、供应商和内部人员
边界身份、租户、数据、秘密、工具和网络
响应检测、控制、撤权、恢复和学习

为端到端 Agent 建立威胁模型

Agent 风险来自内容、记忆、工具、身份、供应商和业务系统之间的互动。

资产与参与者

梳理敏感数据、凭证、动作、系统、日志、模型、提示词、代码、用户、管理员、供应商、攻击者和信任边界。

攻击路径

测试提示与间接注入、混淆代理、跨租户、数据投毒、秘密泄露、工具滥用、不安全文件与网址、依赖受损、拒绝服务和内部滥用。

失败后果

分类保密、完整性、可用性、财务、法律、安全、客户和运营影响,识别强制控制及仍然禁止的动作。

在模型判断以外执行控制

自然语言政策不是访问控制、交易或恢复系统。

身份与最小权限

验证用户与服务,在目标端授权,使用有限短期凭证,隔离环境和租户,限制网络并保护秘密创建、存储、使用和轮换。

安全工具与数据流

验证有类型输入输出,把确认绑定到确切动作,配置白名单、限额、沙箱和外传控制,扫描内容并验证最终状态。

检测与恢复

记录执行者、上下文、政策、工具、目标、请求、结果和模型/配置版本;检测滥用、支持停止开关、撤权、对账状态、恢复服务和保存证据。

怎样批准有限 Agent 权限

定义范围与威胁模型

记录架构、资产、参与者、信任边界、数据流、工具、供应商、失败影响、假设和禁止动作。

用对抗方式测试控制

使用已授权场景测试注入、权限绕过、跨租户、外传、工具滥用、重放、竞态、局部失败、依赖中断和日志缺口。

关闭强制发现

记录负责人、严重度、利用条件、受影响资产、修复、补偿控制、重测证据、例外权和到期日。

批准有限权限

只发布已经测试的用户、数据、工具、限额、环境和监控,演练控制、撤权、恢复和通知。

常见问题

模型供应商安全报告足够吗?

不够。它只覆盖部分供应商风险,不包括你的身份、数据、检索、工具、集成、配置、用户、监控和事故响应。

提示词可以执行安全政策吗?

不可以。提示可以引导行为,但可执行政策必须位于身份、授权、网络、数据、工具、交易和监控控制。

最安全的初始权限是什么?

只读取有限授权来源,提供引用,不把秘密放入上下文,监控使用,有明确拒答和合资格人工复核。

从一个具体业务问题开始。

我们会先确认流程、证据、数据边界和结果标准,再建议下一步。

联系 Onyx