如何管理大模型应用研发中的效果不确定性

建立可量化的评估标准

围绕真实业务场景整理测试集，并从准确性、完整性、稳定性、安全性和响应速度等维度设定指标。对关键任务设置最低通过线，同时结合自动化评测与人工抽查，记录模型版本、提示词和测试结果，便于复现与比较。

持续收集真实输入并迭代测试

在合规前提下收集线上问题与用户反馈，归纳高频表达、边界场景和失败案例，定期补充到评测集。对于高风险或高频问题，可通过改进提示词、检索内容和输入处理来提升表现，并在发布前验证改动是否影响其他场景。

为不确定回答设置约束与兜底

明确模型可回答的范围，要求其在依据不足时说明不确定或转交人工。对关键事实优先使用经过审核的知识来源，并在输出中提供可核查依据。涉及资金、健康或法律等高风险事项时，应增加人工审核、权限控制和异常监测。

分层变更并保留实验记录

为模型版本、提示词、检索配置和知识库分别建立版本记录。尽量一次调整一个主要变量，并使用固定评测集进行对照测试；条件允许时采用小流量实验，观察核心指标和失败案例，再决定是否扩大发布范围。