OpenBMBコミュニティの開発者が、動画を自動で多言語に吹き替えるツールVoiceGateを公開した。多言語音声合成モデルVoxCPM2と、ノードベースの生成基盤ComfyUIを組み合わせている。動画をアップロードすると、音声からの字幕生成、大規模言語モデルによる翻訳、音声合成、元音声と背景音の分離・再合成までを自動で行う。

AI吹き替えで課題だった音と映像のずれに対し、字幕ファイルのタイムスタンプを基準に音声を整列させるVoiceBridgeプラグインを組み込んだ。これにより字幕単位の音声制御が可能になり、音ずれを抑える。ベースのVoxCPM2はトークナイザー不要で、30言語と9つの中国語方言に対応し、音声クローンと声色設計の機能を備える。

コードはGitHubで公開され、Hugging Faceでデモを試せる。中国語動画を英語・日本語・韓国語へ、海外動画を中国語や方言へ双方向に変換でき、教育・博物館・ドキュメントの多言語化への応用が見込まれる。オープンソースのため自社環境で検証できる点が実用判断に効く。