資產及參與者
梳理敏感數據、憑證、動作、系統、日誌、模型、提示詞、程式碼、使用者、管理員、供應商、攻擊者及信任邊界。
企業 AI 安全
企業應如何進行 AI Agent 安全評審？
應評審完整系統，而不只是模型。追蹤不可信內容如何進入檢索及工具，於提示詞外執行身份與最小權限，隔離租戶及秘密，限制數據外傳與依賴，驗證每項高影響動作，並演練偵測、撤權、恢復及證據保存。
作者 Onyx Devs Lab · 發布 · 更新
威脅使用者、內容、模型、工具、供應商及內部人員
邊界身份、租戶、數據、秘密、工具及網絡
響應偵測、控制、撤權、恢復及學習
為端到端 Agent 建立威脅模型
Agent 風險來自內容、記憶、工具、身份、供應商及業務系統之間的互動。
攻擊路徑
測試提示及間接注入、混淆代理、跨租戶、數據投毒、秘密洩露、工具濫用、不安全文件與網址、依賴受損、拒絕服務及內部濫用。
失敗後果
分類保密、完整性、可用性、財務、法律、安全、客戶及營運影響，識別強制控制及仍然禁止的動作。
在模型判斷以外執行控制
自然語言政策不是存取控制、交易或恢復系統。
身份及最小權限
驗證使用者與服務，在目標端授權，使用有限短期憑證，隔離環境及租戶，限制網絡並保護秘密建立、存放、使用及輪換。
安全工具及數據流
驗證有類型輸入輸出，把確認綁定確切動作，配置白名單、限額、沙箱及外傳控制，掃描內容並驗證最終狀態。
偵測及恢復
記錄執行者、上下文、政策、工具、目標、請求、結果及模型/配置版本；偵測濫用、支援停止開關、撤權、對帳狀態、恢復服務及保存證據。
如何批准有限 Agent 權限
定義範圍及威脅模型
記錄架構、資產、參與者、信任邊界、數據流、工具、供應商、失敗影響、假設及禁止動作。
以對抗方式測試控制
使用已授權場景測試注入、權限繞過、跨租戶、外傳、工具濫用、重放、競態、局部失敗、依賴中斷及日誌缺口。
關閉強制發現
記錄負責人、嚴重度、利用條件、受影響資產、修復、補償控制、重測證據、例外權及到期日。
批准有限權限
只發布已測試使用者、數據、工具、限額、環境及監測，演練控制、撤權、恢復及通知。
常見問題
模型供應商安全報告足夠嗎？
不足夠。它只覆蓋部分供應商風險，不涵蓋你的身份、數據、檢索、工具、整合、配置、使用者、監測及事故響應。
提示詞可執行安全政策嗎？
不可以。提示可引導行為，但可執行政策必須位於身份、授權、網絡、數據、工具、交易及監測控制。
最安全的初始權限是甚麼？
只讀取有限授權來源，提供引用，不把秘密放入上下文，監測使用，有清楚拒答及合資格人工覆核。