まず知識ベースを直す
回答が不正確な原因は、モデルの性能よりも、知識の陳腐化・重複・矛盾であることが大半です。どの文書が有効か、誰が更新するか、矛盾時にどれを優先するかを先に決めます。
次にチケット構造
カテゴリ、注文番号、対応結果が構造化されていないと、モデルは文脈を判断できず一般論になります。項目を追加するほうが、モデルを替えるより効きます。
モデルは最後
信頼できる知識と構造化された文脈があれば、モデルの層は単純です。検索、生成、人への引き継ぎ。回答には引用元を付け、担当者が確認できるようにします。
判断基準
「人らしいか」ではなく、「人への引き継ぎ率が下がったか」「初回解決率が上がったか」「誤った約束がゼロか」で見ます。