H200×8基がNotebookから直接叩ける意味
AWSはAmazon EC2 P5en.48xl インスタンスをSageMaker Notebook Instancesで一般提供開始した。P5enは NVIDIA H200 GPUを8基 搭載し、P5で採用されていたH100比でGPUメモリ容量が 1.7倍、メモリ帯域が 1.4倍 に拡大している。CPUはカスタム第4世代Intel Xeon Scalableを採用し、CPU-GPU間は Gen5 PCIe で最大4倍の帯域を確保する。
Notebook Instancesから直接起動できる点が実務上の差分になる。SageMaker StudioのJupyterLabやCodeEditorから、検証フェーズでそのままH200×8基にアクセスできるため、PoC立ち上げ時のインフラ構築工程が大幅に短くなる。
分散学習のボトルネックが動く
ノード間通信は第3世代EFAをNitro v5上で動かし、最大 3200Gbps を提供する。AWSの公表ではP5比で レイテンシが最大35%改善 している。
P5en, with up to 3200 Gbps of third generation of EFA using Nitro v5, shows up to 35% improvement in latency compared to P5 that uses the previous generation of EFA and Nitro.
集合通信のレイテンシは分散学習のステップ時間に直結するため、同じモデル・同じノード数でも学習完了時間とコストが変わる。生成AI・HPC・リアルタイムデータ処理の各ワークロードで再ベンチを行う価値がある。
落とし穴: 提供リージョンと枠取り
提供リージョンは US East (N. Virginia, Ohio)・US West (Oregon)・Asia Pacific (Tokyo) の4つに限られる。東京で使えるのは国内データを動かさずに済む利点だが、H200クラスのインスタンスは需要が集中しやすく、枠確保のリードタイムは事前確認が必要になる。既存のP5/P4dキャパシティ予約を持つ組織は、移行タイミングと残コミット消化のバランス設計が論点になる。
