DeNAのエンジニアリングブログが公開した社内AIヘルプデスク「FindOutAI」の改善記録は、社内AI導入を進める日本企業にとって極めて実務的な参照資料になる。記事は3部構成で、正答率80%達成の軌跡、自動評価システム構築とマネージドRAGへの移行、そして80%の壁を突破するためのナレッジ管理ツール開発の意思決定を順に扱う。

注目すべきは「RAG精度改善だけでは80%で頭打ちになる」という観測事実が、自動評価システムによって定量的に裏付けられている点だ。チャンク分割の調整、再ランキング、プロンプトエンジニアリングといった一般的なRAGチューニングを尽くしても、誤答の原因が情報源側の品質（古い規程、重複、粒度のばらつき）に移ると、エンジン側の改善では到達できない上限が現れる。DeNAはこの構造を見極めた上で、内製RAGからマネージドRAGへ移行して開発リソースを解放し、その分をナレッジ管理ツールの内製に振り向けた。

読者が実装に着手する際の落とし穴は3つある。第1に、自動評価システムを持たないままRAGチューニングを繰り返すと、改善しているのか劣化しているのかが判別できず工数が溶ける。第2に、ナレッジ整備を情シス部門だけで進めると現場の業務知識が反映されず、結局誤答が減らない。第3に、外部SaaS（zooba等）を入れれば解決するという期待はDeNA事例から見ると80%で止まるリスクがある。コストROIの公開数値は記事内には明示されていないが、マネージドRAG移行による工数削減分をナレッジ管理に再配分する判断は、内製・SaaS・ハイブリッドの選択を迫られる企業の意思決定テンプレートとして使える。