Sparkエンジンを用途別に切替｜AWS SageMaker新機能

AI TREND

AWS：ノートブックがEMR対応

AWSがSageMaker Unified StudioのノートブックでEMR Serverlessを分散処理エンジンApache Sparkの実行基盤として選べるようにした。従来のAmazon Athena Sparkに加え、用途に合わせてSpark実行環境を切り替えられる。

3 の要点を3分で

AWSは2026年6月10日、データ分析・AI開発の統合環境Amazon SageMaker Unified Studioのノートブックで、サーバーレス型ビッグデータ処理基盤Amazon EMR Serverlessを分散処理エンジンApache Sparkの実行基盤として使えるようにした。従来はAmazon Athena Spark経由が前提だったが、EMR Serverlessが選択肢に加わり、用途に応じて実行エンジンを切り替えられる。

ノートブックの各セルでPySparkとSpark SQLをEMR Serverless上で実行でき、実行エンジンは横のパネルから選択するとPythonとSQL両方のセルに適用される。全エンジン共通のSpark UI監視画面でジョブの実行状況を確認でき、組み込みAI支援機能SageMaker Data Agentと併用すれば自然言語からコードや実行計画を生成できる。

事前確保した処理能力(pre-initialized capacity)でセッション起動を速められ、仮想ネットワーク接続(VPC接続)にも対応する。SageMaker Unified Studioが使える全AWSリージョンで、ノートブックとJupyterLab環境の両方に対応する。

Sparkエンジンを用途別に切替｜AWS SageMaker新機能の本文内説明図 — 図解: AIエージェント - AWSがSageMakerUnifiedStudioのノートブック

押さえるポイント

この変化で何が要点か。図解と出典つきで一目で。

ノートブックのセル内でPySparkとSpark SQLをEMR Serverless上で実行可能に
実行エンジンは横のパネルから選択、PythonとSQL両セルに一括適用
自然言語でコードや実行計画を生成する組み込みAI支援機能と併用できる

5W1Hでサクッと理解

構造化された事実を最初に。誰が何をいつどこでなぜどのように。

誰が: AWS
何を: ノートブックがEMR対応
いつ: 2026年6月10日
どこで: 全AWSリージョン
なぜ: Spark実行基盤の拡充
どのように: Spark Connect経由

背景

SageMaker Unified Studioは、AWSがデータ分析とAI開発を1つの画面に統合した作業環境である。Sparkは大量データを複数マシンに分散して高速処理する仕組みで、これまでノートブックからはAmazon Athena経由でしか使えなかった。EMR Serverlessは、利用者がサーバー台数を管理せずSpark処理を動かせるサービスで、過去にはSageMaker Studio（旧環境）から接続できる機能が提供されていた。今回、刷新後の統合環境でもEMR Serverlessが選べるようになり、用途に応じてエンジンを使い分けられる。

なぜ今注目なのか

Sparkの実行エンジンを処理内容に合わせて切り替えられるため、データ整備や対話的な分析を行う技術者の選択肢が広がる。自然言語で指示するとコードや実行計画を生成する組み込みAI支援機能（SageMaker Data Agent）と組み合わせることで、開発の手間を減らせる点も実務に効く。事前にリソースを温めておく機能で起動待ち時間を短縮でき、ネットワークを隔離した環境（VPC接続）にも対応する。

ノートブックのSpark実行基盤にEMR Serverlessが加わった

AWSは2026年6月10日、データ分析・AI開発の統合環境「Amazon SageMaker Unified Studio」のノートブックで、サーバーレス型のビッグデータ処理基盤「Amazon EMR Serverless」を分散処理エンジンApache Sparkの実行基盤として使えるようにした。これまでノートブックからSparkを動かすにはAmazon Athena Spark経由が前提だったが、今回EMR Serverlessが選択肢に加わった。

Amazon SageMaker Unified Studio Notebooks now support Amazon EMR Serverless with Apache Spark Connect, giving data engineers and analysts more flexibility in choosing their Spark runtime for interactive analytics and data engineering workloads.
出典: Amazon SageMaker Unified Studio Notebooks now support EMR Serverless

引用にあるApache Spark Connectとは、ノートブックなどのクライアントからSparkクラスタに接続して処理を投げる仕組みのことだ。これにより、ノートブックの各セルでPySpark(PythonからSparkを操作する記法)とSpark SQLをEMR Serverless上で実行できる。