OpenAI

新模型反而不如旧版:大模型换代后的评估与选型思路

编辑部阅读约 6 分钟

新版本发布后,同档位模型的指令遵循、常识和思考稳定性反而下降,是不少开发者近期共同的体感。文章梳理这种倒退感的几种成因——基模进步与后训练工程的错位、档位重排、定价与能力脱钩——并给出可操作的评估清单、任务分流、推理档位选择和缓存成本核算方法,帮助你在新旧版本之间做出稳妥取舍。

模型发新版,按说应该更强。但最近一轮更新后,不少长期使用同一档位的人发现:新版的指令遵循变松了,思考链容易跑偏,常识性错误变多,最高推理档位虽然智商在线却慢得难以忍受,而计费上缓存部分的单价还翻了一倍。于是出现一种很普遍的困惑——到底是自己不会用,还是这一代真的退步了?

这个问题值得认真拆开看。它既涉及模型训练流程的内部权衡,也涉及产品侧的档位与定价策略,最后落到每个使用者身上,其实是一个「怎么评估、怎么选、怎么回退」的工程问题。

为什么会觉得「越更新越难用」

基模提升与后训练工程的错位

一个常见的解释是:底座模型的进步幅度,未必跟得上前一代模型在长期后训练、对齐和工程打磨上积累的「手感」。指令遵循是否严格、什么时候该停下来问、格式是否稳定,这些很大程度上来自后训练阶段的反复调校,而不是参数量本身。新一代基模换了底座,后训练需要重新调一遍,中间版本就容易出现「知识面更广但做事不靠谱」的割裂感。

这种割裂在不同任务上表现不一致:写个普通程序大体够用,但涉及多约束指令、长流程工具调用、边界条件判断时,退步会非常明显。所以「新版更差」和「新版更强」的争论,往往只是因为双方测的不是同一类任务。

档位重排:能力没变,价格变了

另一种更现实的可能:新版发布同时往往伴随档位重构。上一代的中档被改名成新一代的入门档,上一代的高档变成了新一代的中档,名字没变的位置,实际对应的模型规模已经换了一个量级。用户的直觉是「同一个档位怎么变笨了」,但从产品视角看,是「同一个名字换了更小的模型」。

所以在比较之前,先确认两件事:新版这个档位对应的模型规模,是否和旧版同档位相当;以及旧版是否被挪到了更高价的档位。很多「新版不行」的结论,本质是拿新版入门档去比旧版高档。

定价不等于能力,但反映规模与成本

厂商给模型定价,通常和能力排名没有直接线性关系,但会反映模型规模、推理成本和当前算力预算。历史上有过竞争力一般却定价很高的模型,也有过能力不错但价格压得很低的模型。因此可以这样理解:如果某个档位的定价明显低于上一代同位置,那它大概率是用更小或更便宜的底座做出来的,在知识面和长上下文上就不该期待同等表现。

反过来,如果你发现某个任务在新版上明显更强——比如图形界面操作、computer use 一类——那也说明新版并非全面退步,而是能力分布发生了偏移。

先判断:是新模型不行,还是用法不对

在下结论之前,建议做一次小规模、可复现的对比。不需要很复杂,二三十条真实任务就够。

评测集设计清单:

  • 指令遵循:多约束格式输出(例如同时要求字段顺序、字数上限、禁用词),看是否漏项。
  • 长上下文:把你项目里真实的长文档放进去,问只有中段才有的细节。
  • 代码任务:单文件修改、跨文件重构、修 bug 各来几条,记录是否引入新错误。
  • 常识与推理:几条带陷阱的日常问题,看是否犯低级错误。
  • 工具调用:需要连续调用两三次才能完成的任务,看中途是否会放弃或重复调用。

执行时固定变量:

  • 同一份系统提示、同一批提示词、同一个温度设置。
  • 每个用例跑 3 次,记录「通过率」而不是单次印象。
  • 同时记录平均耗时和实际消耗的 token(含缓存命中部分)。
  • 失败时分类记录:是格式跑偏、事实错误、逻辑中断,还是干脆没执行。

跑完这张表,你通常会得到两个结论:新版在哪些任务上确实退步,在哪些任务上其实更好。接下来才是选型问题。

实用对策

按任务分流,而不是只选一个模型

任务类型 建议档位策略
格式整理、改写、单文件小改 最低推理档位,追求速度和成本
常规业务代码、文档撰写 中档,先跑小样本确认稳定再批量
复杂重构、疑难 bug、方案设计 最高档,但要接受延迟,尽量放在非交互场景
图形界面操作、computer use 优先试新版,这类能力往往是新版强项
长上下文、知识密集型问答 对比后再定,新版未必占优

关键是把「贵而慢的档位」留给真正需要它的任务,而不是全程挂在最高档上。很多人觉得新版慢到不可用,其实是因为把最高档当默认档在用。

最高推理档位适合离线,不适合边聊边等

最高档位通常伴随很长的思考过程,交互式开发里等待成本极高。更合理的用法是批处理:把一组问题整理成清单,一次性提交,等结果出来再统一 review。这样延迟被并行摊薄,思考深度也能保留。

如果这类批处理任务需要跑几个小时甚至更久,本地机器的休眠、断网、内存不足都可能中断流程。这种情况下,把任务放到一台长期在线、网络稳定的远程机器上执行是可选方案之一,例如机房里的独享 Mac 按月租用、远程连接使用,能减少本地环境带来的不确定性。需要说明的是,这只解决运行环境问题,不改变模型本身的能力上限。

成本要算缓存,不要只看单价

新版在缓存计价上可能和旧版不同,而长会话、多轮对话恰恰是缓存命中率最高的场景。所以做成本对比时,应该用你自己的真实会话结构去估算:

  1. 统计典型会话的输入 token 总量和重复前缀占比。
  2. 分别按两代的缓存单价计算相同 workload 的月成本。
  3. 把「为了达到同样效果而多跑的轮次」也算进去——效果差导致的重试,往往比单价差异更贵。

只比输入输出单价,很容易得出错误结论。

保留回退能力

  • 通过 API 调用时,尽量固定到具体的版本快照标识,而不是永远跟随最新别名。
  • 订阅制产品通常不保证旧版长期可用,需要提前准备:把系统提示和关键提示词抽成可切换的模板,模型换代时只改配置。
  • 对稳定性要求高的流程,保留一条旧版通路作为兜底,并定期用评测集复测,确认哪条通路更可靠。

注意事项

  • 公开榜单和社区评分只能作为参考,样本小、任务分布和你的业务差异大,不要据此直接下结论。
  • 新版本上线初期可能分批灰度,不同账号、不同时间的表现可能不同,遇到异常先确认是否处于灰度阶段。
  • 关于档位划分、计价规则、缓存倍率、旧版下线时间这类信息,时效性强,务必以官方最新文档和公告为准。
  • 网上流传的对比图、评分表,注意看它的测试任务构成,很多只覆盖单一维度,套用到自己的场景容易误判。

小结

「新版不如旧版」的体感,很少是单一原因造成的。底座换代后后训练尚未调透、档位被重新编排、定价反映的是规模而非能力,这三件事叠加在一起,就形成了同名字档位的体验落差。

稳妥的处理顺序是:先用一小套真实任务做可复现对比,分清是能力分布偏移还是全面退步;再按任务类型分流,把高档位留给难题、低档位承担日常;成本按缓存命中后的实际消耗来算;最后保留版本快照和提示词模板,让自己在下一轮更新时不必重新摸索。

模型会一直更新,但一套自己的评测集和分流策略,是可以跨版本复用的资产。

指令遵循成本优化模型选型版本迭代后训练