まず境界を引く
すべての工程をモデルに渡すべきではありません。入力が明確で出力を検証できる工程だけを任せます。たとえば、問い合わせメールを構造化されたチケットに分解する作業です。金額・約束・法務表現を含む部分は人が確認します。
次に検収条件を決める
接続ポイントごとに測定可能な条件を置きます。「賢くなった気がする」ではなく、「項目の充足率がどこからどこへ」あるいは「手戻りが何回減ったか」です。届かなければプロンプトを調整し続けるのではなく、人手のフローに戻します。
モデルの接続は最後
最初の2段階が終われば、接続自体は早いことが多いです。差し替え可能なインターフェース、プロンプトの版管理、失敗時の代替経路。時間がかかるのは業務ルールを言語化する部分です。
現時点の判断
Agent が向くのは反復的で構造化され、読み返せる作業です。責任を伴う判断には向きません。責任者ではなく、実習生として扱うのが現実的です。