从文档中提取发票金额、合同日期或报表明细,选模型之前,先明确什么算成功。建议把目标定为:字段正确、来源可查、异常可处理,而不是回答看起来完整。下面按六步建立选型流程。
一、检查文档是否需要视觉理解
先抽取几份实际文件,尝试复制正文和表格,检查文字顺序是否正确,再查看扫描页、印章和脚注。部分原生文档接口会同时向模型提供提取文字与页面图像,因此不能把上传文件简单等同于只读取文字。([developers.openai.com](https://developers.openai.com/api/docs/guides/file-inputs?utm_source=openai))
建议分别测试两条路线:清晰文本先解析再交给模型;依赖版面的页面保留图像,交给支持视觉输入的模型。不要仅凭文件扩展名决定处理方式。
二、先定义字段,再比较模型
以发票为例,先写清发票号码、开票日期、币种、含税金额和明细行的输出要求。日期统一格式,金额与币种分开保存,编号按文本保留前导零。
- 原文没有的信息标记为缺失,不允许补猜。
- 存在多个候选值时,返回候选值及其所在位置。
- 每个关键字段附带来源页码和原文片段。
字段约定必须保持一致。否则,比较到的可能只是提示词差异,而不是模型能力。
三、用真实难例建立小型测试集
建议同时纳入普通正文、倾斜扫描件、跨页表格、合并单元格和带脚注的文件。逐项人工标注正确答案,把调试样本与最终验收样本分开。
不要只检查一份排版整齐的文件。建议单独记录金额错位、负号遗漏、明细缺行和缺失字段被补全等错误,并优先修复会影响下游业务的类别。
四、让候选模型完成相同任务
固定文件、提示词和字段要求,先比较两个候选模型。建议先测试成本较低的方案,再让能力更强的方案处理相同难例,观察它解决了哪些具体错误。
同时核对实际接入接口的文件支持方式。支持视觉输入,不代表你选用的接口能够直接接收整份文档;也不要把某个平台的文档功能直接套用到另一个平台。原生文件输入需要按接口文档确认。([developers.openai.com](https://developers.openai.com/api/docs/guides/file-inputs?utm_source=openai))
五、用校验结果决定是否升级模型
建议把输出检查分成三层:结构是否符合约定,字段是否匹配人工答案,业务关系是否成立。例如,检查明细合计与总额是否一致,但不要为了通过检查而自动改写原文金额。
对失败文件,先判断问题来自页面识别、字段理解还是输出格式,再决定重新解析、补充页面图像或升级模型。不要要求模型用一个自评分数替代人工验收。
六、按合格结果核算成本并逐步上线
建议记录每份文件的全部调用费用,包括重试和升级处理,再计算每份合格结果的成本。选择方案时,把人工复核工作量也列入比较,而不是只看单次调用价格。
需要跨模型试验时,可以使用本站按词元计费的模型中转服务,把候选方案放进同一套评测流程;文件上传与视觉能力仍需逐一验证。欢迎注册,用新账户赠送的小额额度先验证自己的样本。
上线时,建议让已通过验收的方案处理普通文件,把校验失败或证据不足的结果转入复核队列。保留测试集和错误记录,后续更换模型时重新验收,不让一次成功代替持续检查。