差し戻しのたびにDevinが申請プロンプトを毎週改善｜DeNA

「エージェントは作ったが、その後の手入れが大変」という運用課題に対する具体的な解決パターンを示している点で参考になる。完全自動化せず、変更範囲を本文限定・行数上限・テスト必須・下書き限定・人間のレビュー必須といったルール（歯止め）で縛る役割分担は、AIにコード改善を任せたい現場の指針になる。つまずきの多くが「判断基準がそもそも書かれていなかった」ことに起因するという観察も、プロンプト設計の実務知見として有用である。

改善の入力になるのは、承認者からの差し戻しコメントと、エージェントが実際に動いたときの会話の記録だ。会話の記録は観測基盤Langfuse（AIの動作ログを蓄積・分析する基盤）に貯められている。ここからつまずきを集め、繰り返し出るものだけを採用する。一回きりの例外には反応せず、再発するパターンに絞るのが要点だ。

6月の4週で、それぞれ1本ずつ計4本の改善が入った。とくに法務確認まわりの選択ミスは、同じ箇所に3週かけて修正が重ねられた。一度の修正で直りきらず、別のパターンで再び差し戻されるという、これまで担当者が手作業で追いかけていた終わらない手直しを、Devinが肩代わりした形だ。

この取り組みの背景には、外部ツールの業務利用に社内申請フォームへの記入と承認・法務確認が必要で、項目間の依存関係も複雑だという事情がある。差し戻しが来るたびに担当者が「こういうときはこう選ぶ」というルールをプロンプトに手で追記してきたが、それが追いつかなくなっていた。

チームの観察で実務的に効くのは、つまずきの多くが「判断基準がそもそも書かれていなかった」ことに起因するという指摘だ。エージェントが間違えるのは能力の問題というより、どういうときにどれを選ぶかの基準が指示文に明文化されていなかったから、というケースが少なくない。

これは、プロンプトを書く側にとって何を先回りして書いておくべきかのヒントになる。差し戻しのたびに後追いでルールを足すのではなく、選択の分岐点を最初から言語化しておく。Devinによる毎週の改善は、その「書かれていなかった基準」を差し戻しログから発掘して埋めていく作業とも言える。