检索与证据
测量相关证据召回、引用正确、权限过滤和缺少来源时的行为。
企业 AI 评估方法
怎样判断企业 AI 系统可以上线？
模型基准分数不是验收测试。生产准备度必须同时评估证据检索、输出质量、工具行为、流程可靠性、人工控制和运营结果。
作者 Onyx Devs Lab · 发布 · 更新
能力系统能否完成任务
控制失败时是否安全
结果工作流程是否改善
六层评估范围
每一层回答不同的生产问题。
输出与决策
按领域标准评估事实、完整性、规则遵循、置信表达和适当拒绝。
工具与运营
测试参数、授权、幂等、重试、操作后验证、延迟和成本。
从测试集到运营证据
离线分数必要，但并不充分。
代表性案例
覆盖高频工作、高影响边界、历史失败和对抗输入。
发布门槛
按风险等级设置标准，避免平均分掩盖严重失败。
生产反馈
记录修正、升级、放弃、人工覆盖和下游结果。
交付方法
定义高影响任务
说明系统能影响什么，以及由谁承担后果。
建立证据测试集
记录输入、预期证据、评分标准、风险等级和可接受答案。
评估完整流程
覆盖检索、模型、工具、权限、界面和人工交接。
上线后持续监控
追踪漂移、失败、成本、延迟、人工覆盖和业务指标。
第三方历史快照
Internet Archive 保存了该页面的历史副本。归档证明页面在指定时间可读取，不代表服务背书、搜索收录或 AI 推荐。
常见问题
只看模型准确率够吗？
不够。检索、权限、工具操作和人工控制都可能在模型回答之外失败。
评估集需要多大？
应覆盖决策与风险空间，而不是追求任意数量；先覆盖高频和高影响案例。
用户反馈能代替专家评估吗？
不能。用户反馈有价值，但用户未必能发现隐藏的事实、政策、权限或下游错误。