AWS:Glue 5.1提供開始
画像: AI生成

AWSは2026年4月29日、AWS Glue 5.1をAWS Commercialおよび AWS GovCloud (US) の全リージョンで提供開始したと発表した。Glue 5.1はApache Spark向けの新バージョンで、公式ブログ『Introducing AWS Glue 5.1 for Apache Spark』で機能概要が公開されている。

今回の目玉はApache Iceberg v3への対応で、特にdeletion vectors(削除ベクター)とrow lineage(行リネージ)のサポートが挙げられる。公式ブログ『Accelerate data lake operations with Apache Iceberg v3 deletion vectors and row lineage』によれば、これらの機能はデータレイク上の更新・削除処理を効率化する。deletion vectorsはMerge-on-Read方式で削除対象行を位置ベースのベクターで表現することで、ファイル書き換えを抑えつつ読み取り時に除外する仕組みであり、row lineageは行単位の変更履歴追跡を可能にする。CDC連携や監査要件のあるデータ基盤で実装パターンが広がる。

運用面では、商用リージョンとGovCloud (US) での同時提供が特徴だ。従来は商用先行でGovCloudは遅れるケースもあったが、今回は全リージョン同時展開となっている。米国政府系のデータワークロードでも商用と揃ったバージョンで運用できる。

既存のGlue 5.0以前を利用中のチームには移行作業が発生する。公式ドキュメント『Migrating AWS Glue for Spark jobs to AWS Glue version 5.1』に移行手順が整理されており、aws-glue-libs(GitHub: awslabs/aws-glue-libs)のライブラリ差分も確認ポイントとなる。日本国内のAWS利用企業は、まず開発環境でのジョブ互換性検証と、Iceberg v3機能によるコスト・処理時間への影響測定から着手する流れになる。