稼働中GPUを止めずに不良ノード検査｜HyperPod

AWSは、機械学習の大規模学習基盤SageMaker HyperPodで、Slurm(ジョブ管理ソフト)を使い継続的プロビジョニングで作成したクラスターに対し、稼働中インスタンスのGPU健全性を任意のタイミングで検査する詳細ヘルスチェック(deep health check)を追加した。継続的プロビジョニングとは、容量が空き次第ノードを非同期に追加していく仕組みで、学習をすぐ開始しつつ柔軟に拡張できる。

Continuous provisioning lets you start training quickly and scale instance groups asynchronously without all-or-nothing failures, and you can now pair that flexibility with comprehensive hardware validation as instances come online.

引用にある「オール・オア・ナッシングの失敗」とは、全ノードを一括確保して1台でも起動に失敗すると学習全体が失敗する従来の問題を指す。今回は柔軟な非同期拡張に、包括的なハードウェア検証を後付けできるようにした点が核心だ。