檢索與證據
量度相關證據召回、引用正確、權限過濾及缺少來源時的行為。
評估方法論
如何判斷企業 AI 系統可以上線？
模型基準不是驗收測試。生產準備度必須同時評估證據檢索、輸出質量、工具行為、流程可靠性、人工控制及營運成果。
作者 Onyx Devs Lab · 發布 · 更新
能力能否完成任務？
控制失敗時是否安全？
成果工作流程有否改善？
六層評估範圍
每一層回答不同的生產問題。
輸出與決策
以領域標準評估事實、完整性、政策遵循、置信表達及適當拒絕。
工具與營運
測試參數、授權、冪等、重試、操作後驗證、延遲及成本。
從測試集到營運證據
離線分數必要，但並不足夠。
代表性案例
包括常見工作、高影響邊界、歷史失敗及對抗輸入。
發布關口
按風險層級定義標準，避免平均分掩蓋嚴重失敗。
生產反饋
記錄修正、升級、放棄、人工覆蓋及下游結果，不把每個使用者動作直接視為真相。
交付方法
定義高影響任務
說明系統可以影響甚麼，以及由誰承擔後果。
建立有證據測試集
記錄輸入、預期證據、評分準則、風險級別及可接受替代答案。
評估完整流程
包括檢索、模型、工具、權限、界面及人工交接。
上線後持續監控
追蹤漂移、失敗、成本、延遲、人工覆蓋及議定業務指標。
常見問題
模型準確度足夠嗎？
不足夠。模型分數可以很好，但檢索可能遺漏受權限控制的證據、工具可能執行錯誤操作，或流程沒有提供人工控制。
評估集需要多大？
應覆蓋決策與風險空間，而不是追求任意數量。先包括高頻及高影響案例，再從真實失敗持續擴展。
使用者反饋可以取代專家評估嗎？
不可以。使用者反饋是有用的營運證據，但很多使用者無法識別隱藏的事實、政策、權限或下游錯誤。