自动化质检平台，给大模型训练数据做质检

这是我在一家AI数据公司实习时做的内部平台。代码、数据、质检规范的原文都属于公司，这一页只写思路和结构，不放任何样本、提示词和规则内容。

为什么做

团队在做一类训练数据：每条是一份给对话式Agent用的系统提示，加上函数定义和业务流程说明。交付前要过质检。

原来全靠人工：质检、写修改意见、改、再质检，不少数据要来回走两三轮。问题在于，同一类错误会反复出现，人工写的意见也只留在表格里，下一次质检用不上。

怎么做的

整体是一个循环：模型先质检一遍，人抽查，从人的反馈里学，再质检一遍。

1. 规则检查和模型评审分开。 格式、字段、写法这类能用正则和结构比对查的，先用规则查掉，不浪费模型调用。剩下需要理解上下文的，比如指令写得是否明确、流程跳转对不对、前后场景是否一致，交给大模型按规范清单逐条评审。

2. 质检前先检索参考材料。 每条数据在表里都带着两样东西：以前人工写过的修改意见，和这条数据对应的业务流程说明。评审前把它们取出来，和数据一起放进提示里。模型据此对照：已经提过的问题有没有改掉，有没有再犯；系统提示写的流程和业务流程说明是否对得上。这样模型不是凭空挑错，而是借着已有的人工经验查。

3. 按置信度分流。 模型给每条数据一个结论和一个置信度。默认配置下，0.90以上自动通过，0.60以下自动驳回，中间的进人工复核池。人工的精力只花在模型拿不准的数据上。阈值写在配置文件里，可以按团队的情况调。

4. 人工复核有专门的界面。 用Streamlit做了复核页面。模型找到的问题会定位回系统提示里具体的段落或步骤，直接高亮批注，复核的人不用自己去找。每轮按比例抽检，默认10%，至少10条。复核的人可以确认、驳回或补充问题。

5. 反馈回流成规则。 复核结果存进数据库，按「模型漏判」「模型误判」「人工补充」分类。同一类问题出现3次以上，就归纳成一个错误模式，按出现次数和漏判次数排优先级，生成一条规则修改建议。规则不会自动生效：默认要人审核通过才写进规范。下一轮质检用更新后的规则，只查还没被人看过的数据。

6. 工程上的几件事。

• 模型调用封装成统一的客户端，Gemini和OpenAI的官方API可以切换，密钥从环境变量读，失败会退避重试。
• 每一轮的状态存成文件，中断了可以接着跑。
• 结果导出成带质检意见的Excel，和团队原来的工作表格式一致。
• 打了Docker镜像，有一个给两三个人试用的演示模式。

结果

2026年4月，第一批约300条数据用它出了质检意见，写回了团队的工作表。

团队后来用它做交付前的质检。之后质检规范换了新版，后面的自动质检也沿用了这里分层检查、按置信度分流、反馈回流的做法。

没做好的地方

• 没有量过准不准。 设计时定过准确率、漏判率、误判率的目标，但没有在一批人工标准答案上实际测过，所以这里不写任何准确率数字。
• 置信度是模型自己给的。 0.90和0.60这两个阈值是按经验定的，没有用数据校准过。模型自报的置信度不一定可靠，这是分流最薄弱的一环。
• 规则回流走得慢。 要攒够反馈才能归纳出模式，规则又要人审核，在数据量小的时候，一轮下来能学到的东西不多。