Sakana AIらが、ニューラルネットをブロック単位で独立に訓練し学習メモリを理論上B分の1に削減する手法「DiffusionBlocks」を発表し、ICLR 2026に採択された。
Sakana AIらが提案したDiffusionBlocksは、NN訓練の標準である誤差逆伝播を、ブロック単位の独立訓練に置き換える枠組みで、ICLR 2026に採択された。残差接続を「ノイズ除去の更新ステップ」と読み替え、各ブロックをscore matchingで独立に学習させることで勾配の連鎖を断ち、訓練メモリを理論上B分の1に削減する。
実験ではCIFAR-100のViT 12層で45.46%(ベースライン45.26%)と同等、既存代替のForward-Forward(15.77%)を大きく上回った。ImageNet-256の画像生成ではFID 10.63(ベースライン12.09)を達成しつつメモリを3倍削減し、自己回帰テキストや再帰深さなど計5系統で従来同等以上を示した。
ただし入出力次元一致のアーキに限定され、実証は12層級の中小モデル止まりで大規模LLMでの効果は未実証と著者が明記している。コードはApache-2.0でGitHub公開されており、実務での再現検証が可能だ。
この変化で何が要点か。図解と出典つきで一目で。
構造化された事実を最初に。誰が何をいつどこでなぜどのように。
従来のNN学習では「誤差逆伝播（end-to-end backpropagation）」という方法が標準で、全ての層の途中計算結果をメモリに保持する必要があった。これがメモリのボトルネックとなり、大規模なモデルを扱う際の制約になっていた。ブロック単位で訓練する手法は以前から提案されていたが、各ブロックの学習目標が場当たり的で、画像分類など限られた課題でしか検証されてこなかった。今回の研究は、この問題に理論的な裏付けを与えるものである。
学習メモリの削減はそのまま、より少ない計算資源で大きなモデルを訓練できることを意味し、開発コストやハードウェア制約に直結する。さらに本手法は画像・拡散・自己回帰など複数のモデル構造で従来手法と同等の性能を示しており、特定用途に限られない汎用性を持つ。コードも公開されており、実務での検証がすぐ可能な点も注目される。
通常のニューラルネット訓練は、全層の途中計算(activations)をメモリに保持したまま、出力の誤差を最終層から入力層まで遡って全層の重みを更新する。これが誤差逆伝播(backpropagation)で、層が深いほどメモリ消費が線形に増え、モデル大型化のボトルネックになる。
DiffusionBlocksはここを正面から崩す。残差接続(入力をそのまま足し込むスキップ接続)が「力学系の更新ステップ」に対応する点に着目し、その更新を最小限の改変で拡散モデルの逆過程である「ノイズ除去(denoising)」の更新に読み替えた。各ブロックは拡散モデルで使うscore matching(データ分布の勾配を学習する目的関数)で独立に学習でき、ブロック間の勾配の連鎖が切れる。結果、一度に1ブロックだけ勾配を計算すればよくなり、訓練メモリを理論上B分の1(B=3なら約3倍少なく、B=4なら約4倍少なく)に下げられる。
DiffusionBlocks: Block-wise Neural Network Training via Diffusion Interpretation
著者はMakoto Shing(Sakana AI)、Masanori Koyama(東京大学)、Takuya Akiba(Sakana AI)の3名。論文はICLR 2026に採択された。
ブロック単位の訓練は以前から提案されていたが、各ブロックの学習目標が場当たり的で、画像分類など限られた課題でしか性能が出なかった。既存のbackprop代替であるForward-Forward等の局所学習は、性能が大きく劣化しがちだったのが弱点だ。
DiffusionBlocksは5系統で従来の一括学習と同等以上を示した(すべてarXiv本文より)。
勾配チェックポイント等の既存メモリ節約は再計算で時間を犠牲にするが、本手法はブロック独立性そのものでメモリを削る発想である点が差分だ。
成果は強いが、適用範囲は公式が明示的に区切っている。第一に、入力次元と出力次元が一致するアーキに現状限定され、U-Net等には未対応だ。第二に、実証は12層級の中小モデル(ViT/DiT/Llama-2系12層)に留まり、大規模モデルやスケールでの効果は著者自身が「今後の課題」と明記しており未実証である。
第三に、スクラッチ訓練のみで、既存の事前学習済み大規模モデルへの適用は検証されていない。第四に、メモリB分の1は理論上の比率で、実装オーバーヘッド込みの実測値は構成に依存する。
つまり「backpropを置き換える実用標準になった」わけではなく、誤差逆伝播が唯一解ではないことを実データで示した理論実証の段階だ。読者が判断材料として持つべきは、自社のアーキがこの制約(入出力次元一致・中小規模)の内側に収まるかどうかである。
Sakana AIと効率訓練の研究勢は、誤差逆伝播の代替を同等以上の性能とともに示し、ICLR 2026採択で研究リードを取った。
GPUメモリに制約のある中小研究室やスタートアップは、大型GPUなしでも深いモデルをブロック単位で訓練できる選択肢が増える側だ。国内でオンプレ学習やエッジ向けモデルを担う実装者にとっても、Apache-2.0で公開されたコードを使い再現検証からすぐ着手できる。
一方、巨大メモリGPUありきの前提に依存する勢は、長期的には相対優位が薄れる方向に置かれる。ただし現状は小規模実証のため影響は限定的だ。U-Net等の非対称アーキを使う実装者は、入出力次元一致の制約により、そのままでは恩恵を受けられない点に注意が要る。
立場別、明日から動ける一手。
自社アーキが入出力次元一致の制約に収まるかを公式arXiv本文と実装READMEで確認する。
ブロック分割訓練と勾配チェックポイントを、メモリ削減量と訓練時間のトレードオフで比較する。
公式実装でCIFAR-100＋ViTのB=3再現を回し、ベースラインとの精度・メモリ差を試す。
「誤差逆伝播は唯一解ではない」を実データで示した点に研究者の関心が集中している。
公式発表と各所の反応から編集部が要約した主な論点です。個別のX投稿そのものは下部のセクションに表示されます。
「誤差逆伝播は唯一解ではない」
「性能を落とさずメモリを削る」
「スケール時の挙動が知りたい」
学習メモリを理論上B分の1に削減し、CIFAR-100のViTで従来同等の45.46%、ImageNet-256でFID10.63とベースラインを上回った具体値が「性能を落とさずメモリを削る」例として注目を集めた。一方で、実証が12層級の中小モデルに留まり大規模LLMでの効果が未実証である点、入出力次元一致アーキに限定されU-Net未対応である点に「スケール時の挙動が知りたい」という慎重な見方も出ている。Sakana AIのCEO David Ha(@hardmaru)が紹介・拡散したことも話題の起点となった。
※トレンド検出時刻付近の人気投稿を表示
