音声AIの回帰テストを自動化｜AWS無償OSS公開

AWSが音声対話AI「Amazon Nova Sonic」向けに、人がマイクで話さなくても会話品質を自動評価できるオープンソースの検証ツール「Nova Sonic Test Harness」を公開した。複数ターンの会話を自動で最後まで走らせ、別の大規模言語モデル(LLM)を審査役に使って採点する仕組みだ。

It runs complete multi-turn conversations with Amazon Nova Sonic automatically, evaluates them using LLM-as-judge techniques, and can even detect cases where the model's audio output doesn't match its text output (audio hallucinations). No microphone required.

引用にある「LLM-as-judge」は別のLLMが審査役として品質を採点する手法、「audio hallucination」は音声で話した内容と文字出力が食い違う音声の取り違えを指す。AWSはこのツールを、システム指示(プロンプト)やツール設定を素早く調整するための反復ツールであり、本番規模で品質を検証する評価基盤でもあると位置づけている。