Microsoftが、オープンソースモデルや自社学習モデルを専用GPU上で動かす新基盤Foundry Managed Computeを発表した。AI開発基盤Microsoft Foundryには、トークン従量課金とプロビジョンドスループットの2形態があり、今回はオープンモデル・独自モデルを専用GPUで動かす3つ目の提供形態にあたる。

利用者が決めるのはモデル・配置テンプレート・GPU種別(A100/H100/MI300X)の3つだけで、必要なGPU数が自動確保される。課金はGPU系統ごとの時間課金で、利用枠はAzure仮想マシンの枠とは別管理。1つのエンドポイントの背後で複数インスタンスに負荷を分散し、同じ前文を持つ要求を同一インスタンスへ振り分けてキャッシュ効率を高める。コンテナと実行環境の更新・脆弱性修正は稼働中の配置に裏側で適用される。

Hugging Faceとの提携で数千のオープンモデルにアクセスでき、追加学習や強化学習による調整、外部学習済み重みの持ち込みにも対応する。GPU仮想マシン調達からコンテナ基盤構築、CVE対応までの自前運用負担が、3つの選択に圧縮される。データの保管場所や挙動を自社で制御したい企業の選択肢が広がる。