使い慣れたVS CodeからSparkを実行｜AWS Glue新対応

ツール米国メガテック東京含む主要リージョン 06/19 12:05

AI TREND

AWS：Glue対話セッションがSpark Connect対応

AWS Glue Interactive SessionsがApache Spark Connectに対応し、JupyterやVisual Studio Codeなど普段使う開発環境からクラスター管理なしでSpark処理をGlueのサーバーレス基盤上で実行できるようになった。

3 の要点を3分で

AWSは2026年6月18日、データ加工基盤AWS Glue Interactive Sessionsが分散処理フレームワークApache Sparkの接続方式Spark Connectに対応したと発表した。これにより、JupyterやVisual Studio Codeなど普段使う開発環境やAmazon SageMaker Unified Studioのノートブックから、クラスター(処理サーバー群)を自分で管理することなくSpark処理をGlueのサーバーレス基盤上で実行できる。

Spark Connectは、手元の開発ツールと実行環境を切り離す「薄いクライアント」方式である。クライアント側の依存ライブラリとサーバー側のSpark実行環境を分離するため、本番投入前の試行錯誤、段階的なデバッグ、PySparkジョブの少しずつの開発を、使い慣れたツールのまま行える。AWSはこの分離が更新を容易にし安定性も向上すると説明している。運用面ではSpark UIによるリアルタイム監視、Spark History Serverによる履歴追跡が可能だ。

提供リージョンには東京が含まれ、国内での利用判断もすぐに行える。Glue Interactive Sessionsは2022年4月に正式提供が始まり、Jupyter用カーネル対応や自動スケーリングが順次追加されてきた経緯がある。

使い慣れたVS CodeからSparkを実行｜AWS Glue新対応の本文内説明図 — 図解: AI動向 - AWSGlueInteractiveSessionsがApache

押さえるポイント

この変化で何が要点か。図解と出典つきで一目で。

手元のVS CodeやJupyterからGlueのSpark処理を直接動かせる
クラスター(処理サーバー群)の自前管理が不要なまま試行錯誤できる
クライアントと実行環境を分離し更新が容易で安定性も向上

5W1Hでサクッと理解

構造化された事実を最初に。誰が何をいつどこでなぜどのように。

誰が: AWS
何を: Glue対話セッションがSpark Connect対応
いつ: 2026年6月18日
どこで: 東京含む主要リージョン
なぜ: 本番前の試行錯誤を容易に
どのように: 薄いクライアント方式で接続

背景

AWS Glue Interactive Sessionsは、ノートブック形式でデータ加工処理を試作・実行できるAWSのサービスで、2022年に正式提供が始まった。これまでもJupyter用のカーネル対応や自動スケーリングなどが順次追加されてきた。今回採用されたSpark Connectは、手元の開発ツール（クライアント）と実際にSparkを動かす実行環境（サーバー）を切り離す「薄いクライアント」方式である。クライアント側の依存ライブラリと、サーバー側のSpark実行環境を分離する構造になっている。

なぜ今注目なのか

データ技術者は本番投入前の試行錯誤、段階的なデバッグ、PySparkジョブの少しずつの開発を、使い慣れたツールのまま行えるようになる。クライアントと実行環境の分離により、バージョン更新が容易になり安定性も向上する点が運用上の利点である。日本（東京）を含む主要リージョンで提供されるため、国内での利用判断もすぐに行える。

VS CodeからGlueのSparkを直接動かせるようになった

AWSは2026年6月18日、データ加工基盤「AWS Glue Interactive Sessions」が分散処理フレームワークApache Sparkの接続方式「Spark Connect」に対応したと発表した。これにより、JupyterやVisual Studio Codeといった普段使っている開発環境から、クラスター(処理サーバー群)を自分で管理することなくSparkの処理をGlueのサーバーレス基盤上で実行できる。

AWS Glue Interactive Sessions now support Apache Spark Connect, using which you can now develop and run Apache Spark applications from your preferred environment, including managed notebooks in Amazon SageMaker Unified Studio, or your preferred notebook environments and IDEs like Jupyter, Visual Studio Code, while running them on AWS Glue's serverless infrastructure without managing clusters.
出典: AWS What's New

引用の「managed notebooks in Amazon SageMaker Unified Studio」はAWSの統合開発環境内の管理ノートブックを、「serverless infrastructure without managing clusters」はクラスター管理が不要なサーバーレス基盤を指す。要点は、開発環境を移さずにSpark処理だけをAWS側で動かせる構図になったことだ。

「薄いクライアント」方式が開発体験をどう変えるか

Spark Connectは、手元の開発ツール(クライアント)と実際にSparkを動かす実行環境(サーバー)を切り離す「薄いクライアント」方式である。クライアント側の依存ライブラリと、サーバー側のSpark実行環境を分離する構造になっている。

With Spark Connect, you submit Spark jobs to AWS Glue Interactive Sessions using a thin client architecture that decouples your client application from the Spark execution environment. This unlocks workflows like ad hoc data exploration, iterative step-by-step debugging, and incremental PySpark job development before deploying to production, all from the tools you already use.
出典: AWS What's New

この「thin client architecture」がクライアントと実行環境を切り離す薄いクライアント方式で、「ad hoc data exploration」はその場でのデータ探索、「iterative step-by-step debugging」は段階的なデバッグ、「incremental PySpark job development」はPySparkジョブを少しずつ作り込む開発を指す。AWSはこの分離が更新を容易にし、安定性も高めると説明している。クライアント側の依存とサーバー側のSpark実行環境が独立するため、片方のバージョン更新がもう片方を壊しにくくなる。