自然语言转SQL如何评估效果
在实际业务里，单看生成结果能不能跑通还不够，想知道模型是否可用，还需要结合哪些指标一起看？
从准确性、执行结果和业务价值三方面判断
可以重点看三类指标：一类是SQL语句本身是否正确，比如语法是否能通过、表名和字段是否匹配；一类是执行层面的结果是否正确，比如查询出来的数据和人工标注答案是否一致；还有一类是业务层面的效果，比如用户是否愿意继续使用、是否减少了人工写SQL的成本。把这些指标结合起来看，才能更接近真实效果。
有些模型生成的SQL可以正常运行，但查询结果可能不对，这种情况该怎么理解它的效果？
能执行不等于正确，结果一致性更关键
SQL能执行成功，只能说明它没有明显的语法错误，不代表查询逻辑一定正确。比如条件写偏了、聚合方式不对、关联字段选错了，都会让结果偏离用户意图。评估时更应该关注执行结果是否和标准答案一致，必要时还要检查中间逻辑是否符合问题语义。
很多场景里很难准备足够多的标准SQL答案，如果数据不完整，还能怎么判断模型好不好？
可以结合自动评测、抽样人工审核和线上反馈
在标注数据不足时，可以用多种方式补充评估：借助自动化测试检查语法正确率、查询执行是否报错、结果是否为空或异常；对一部分样本做人工抽查，判断SQL逻辑是否合理；上线后再看用户是否会修改生成结果、是否反复追问、是否真正完成任务。这样能在标注不足的情况下，较全面地观察模型表现。
模型在测试集上的表现不错，但真实用户使用时经常出问题，这种差异该怎么衡量？
离线看能力上限，线上看真实效果
离线测试适合验证模型基础能力，比如语法正确率、执行准确率、复杂查询能力；线上表现更能反映真实可用性，比如用户是否理解生成结果、是否需要反复改写问题、是否能稳定覆盖业务场景。评估时建议把离线指标和线上反馈一起看，避免只在测试集上表现好，实际使用却不稳定。