K-MetBenchは、韓国の気象予報士を支援するマルチモーダルLLMアシスタント開発における「専門家レベルの多次元評価枠組みの不在」という課題に答える形で設計された診断ベンチマークである。国家資格試験を権威ある情報源として採用し、(1)専門図表の視覚推論、(2)専門家が検証した論拠に基づく論理的妥当性、(3)韓国固有の地理・文化理解、(4)細粒度のドメイン分析、という4次元で評価軸を構築した点が特徴である。
55モデルの評価から得られた知見は二つある。第一に、専門的な図表（気象チャート等）の解釈において深刻なモダリティギャップが存在すること。第二に、最終的な予測が正解であっても、その導出論理がハルシネーションを起こす「推論ギャップ」が広く観測されたことである。後者は、正答率のみを性能指標に使う従来の評価では見逃されていた領域で、専門業務における信頼性評価の盲点を突いている。
最も重要な発見は、韓国語モデルがローカル文脈においてパラメータ規模が大幅に大きいグローバルモデルを有意に上回ったことである。これは「スケーリングだけでは文化的・地域的依存性を解決できない」ことの実証であり、非英語圏で専門ドメインのAIアシスタントを構築する際の設計指針に直接影響する。
日本の読者にとっての含意は明確である。気象・防災・地域行政など、地理文化依存性が高く人命に関わる領域では、汎用巨大モデルを呼び出すだけの構成が最適解とは限らない。K-MetBenchのデータセットはHugging Faceで公開されているため、日本語版の類似ベンチマーク設計や、既存モデルの弱点診断にすぐ活用できる。
