コストはピークで見積もる
平均呼び出し量で予算を組むと、キャンペーンや一括処理で破綻します。ピークと再試行率で見積もり、安価な代替モデルの枠を残します。
統制とは出力の境界
同じ入力で安定するか、異常な入力に応答しないか、機密項目が漏れないか。デモではなく実サンプルで確認します。
差し替え可能性は保険
モデルの更新、価格改定、API 終了は起こります。薄いアダプタで呼び出しを包み、プロンプトの版と回帰サンプルを残せば、差し替えは1日で終わります。
ひとつの結論
「最高だが固定される」モデルより、「2番目だが替えられる」モデルを選びます。事業は数年続き、モデルは一度では終わりません。