K-MetBenchは、気象分野における大規模モデルの能力を「専門家推論(Expert Reasoning)」「地域性(Locality)」「マルチモーダル(Multimodality)」の3つの次元で細粒度に評価するベンチマークとして、2026年4月28日にarXiv（論文ID: 2604.24645v1）で公開された。あわせてHugging Face上の「soyeonbot/K-MetBench」でデータセットが配布され、第三者が同一条件で評価を再現できる形になっている。

気象領域は、物理法則に基づく定量推論、ローカルな地形・気候帯に依存する知識、衛星画像やレーダー図・天気図といった視覚情報の読解が混在するため、汎用的なMMLU系ベンチマークでは実運用に必要な能力を測りにくい。K-MetBenchは、これらを切り分けて評価することで、モデルの「どこが弱いか」を特定できる設計を謳う。

日本の文脈では、気象業務・防災情報・エネルギー需給予測・農業・物流など、気象データに依存する領域は広い。AIベンダーの性能主張を、領域特化の公開ベンチマークで裏取りできる意義は大きい。一方、本ベンチマークが日本域の観測データや日本語プロンプトをどこまでカバーするかは論文本文での確認が必要で、「地域性」の評価が自国ユースケースにどの程度転用できるかは読者側で切り分けるべき論点となる。導入検討者は、まず論文で評価プロトコルを確認し、Hugging Faceのデータセットで自社候補モデルを走らせ、汎用ベンチのスコアとの乖離を記録することが実務的な次の一手となる。