UAEのTechnology Innovation Institute（TII）が、アラビア語LLMを対象としたリーダーボード「QIMMA（قِمّة、アラビア語で「頂上」を意味する語）」をHugging Face blogで発表した。同時にarXiv上で関連論文、GitHub上でQIMMA-leaderboard実装コードが公開されており、ブログ記事・論文・コードの3点セットで一次情報が揃っている点が特徴だ。
アラビア語LLMの評価はこれまで、英語ベンチマークの機械翻訳版に依存する傾向があり、翻訳品質の揺らぎやデータ汚染が比較の信頼性を損ねてきた。QIMMAは「Quality-First」を掲げ、Hugging FaceのLightEvalを評価ランタイムとして利用し、コード生成系ではEvalPlus系の設計思想も参照する構成で提示されている。これにより、リーダーボードの順位がどのデータセット・どのメトリクス・どの実装で算出されたかを、第三者が再現検証できる形に整えられた。
読者にとっての意味は2点ある。第1に、アラビア語市場に製品を展開する日本企業や、アラビア語を含む多言語モデルを評価する立場の技術者は、QIMMAのスコアが顧客・パートナー側の参照点になりうる点を押さえておく必要がある。第2に、日本語LLMの評価においても、評価データ・コード・論文が一次ソースとしてセットで公開される運用は参照モデルになる。公開された3つのURLを自ら開き、評価タスクの粒度と対象モデルを確認することが、この発表を単なる海外ニュースで終わらせない最初の一歩になる。
