栗游交付团队 · 数字化交付

模型选型的三条硬约束:成本、可控、可替换

不追榜单,先看能不能换。选型失败多数不是效果不够,而是被绑死了。

成本要按峰值算

按平均调用量估算预算,上线后遇到活动或批量任务就会被打穿。我们按峰值与重试率估算,并预留降级模型的位置。

可控指输出边界

同一个输入是否稳定,异常输入是否会拒答,敏感字段是否会被带出——这些在上线前要用真实样本跑一遍,而不是看演示。

可替换是保险

模型更新、价格调整、接口下线都会发生。把调用封装在一层薄适配里,保留提示词版本与回归样本,换模型才能在一天内完成。

一个经验

我们更愿意选「第二好但能换」的模型,而不是「最好但绑死」的模型。业务跑三年,模型换代不止一次。

← 返回新闻列表