arXivで公開された論文「A paradox of AI fluency」は、公開対話データセットWildChat-4.8Mから2万7千件のリッチアノテーション付き会話ログを抽出し、ユーザーの熟練度とAI利用成果の関係を分析した。
分析の中心的発見は、流暢ユーザーと初心者が根本的に異なる対話様式を採ることである。流暢ユーザーはAIと反復的・協調的に対話し、目標を洗練させながら出力を批判的に評価する。一方で初心者は受動的な姿勢でAIの出力をそのまま受け入れる傾向がある。
この違いが「AI流暢さのパラドックス」を生む。流暢ユーザーは複雑タスクに挑むため失敗を多く経験するが、その失敗は可視的で部分的な回復につながりやすく、同時に複雑タスクでの成功も多い。対照的に初心者は、会話が成功したように見えても実際には目標未達の「見えない失敗」を多く経験する。
論文の結論は二方向の実践的示唆を含む。個人ユーザーは受動的受容ではなく積極的関与の姿勢を取るべきであり、AIプロダクト開発者は「モデル挙動の設計」だけでなく「ユーザー行動の設計」を担っていると認識すべきである。摩擦を減らした体験ではなく、深い関与を促す設計の方が全体として成果につながる。
日本のAIプロダクト開発現場では「誰でも簡単に使える」を目指すUI設計が主流だが、本研究は公開データと公開コードによって異なる設計方針の根拠を提示している。効果測定を「会話の終了」や「満足度」ではなく「実際の目標達成」で測る必要性も浮き彫りになった。
