航空写真を言葉で検索｜物体ごとの学習が不要に

AWSの生成AI支援チームが航空写真大手Vexcelと組み、膨大な航空写真を自然言語で検索する仕組みをAmazon Bedrock上で構築した。従来は航空写真から特定の物体（プール・太陽光パネル・倉庫など）を探すには、人が画像タイル（地図を分割した区画）を一枚ずつ目視するか、対象ごとに専用の画像認識モデルを学習させる必要があった。後者は教師データの作成と継続的な再学習に工数がかかり、新しい検索要望のたびに繰り返さねばならなかった。

今回の構成では、画像を多モーダル埋め込み（画像とテキストを同じ数値空間に変換する仕組み）で一度索引化すれば、再学習なしで自然言語の問い合わせを検索に変えられる。検索基盤にはAmazon OpenSearch Serverless（フルマネージドの検索エンジン）を使った。

we walk through the problem space, our architecture on Amazon Bedrock and Amazon OpenSearch Serverless, the evaluation methodology we built on OpenStreetMap ground truth

引用は、問題設定・Amazon BedrockとOpenSearch Serverless上の構成・OpenStreetMapを正解基準にした評価手法を解説したものだという説明である。