Zhangyong Liang:HRGrad手法を提案
画像: AI生成

マルチスケール時間依存運動論問題は、小パラメータがミクロからマクロへと漸近的に変化するため、全域を単一のニューラルネットワークで同時に解くことが難しい。異なる漸近領域のタスクを同時学習すると勾配が互いに打ち消し合い、マルチタスク学習が失敗する「failure mode」が知られていた。

本論文が提案するHRGrad(Harmonized Rotational Gradient)は、この課題に対して二つのアプローチを組み合わせる。第一に、小パラメータの隠れ表現を明示的にエンコードし、対応する解法タスクを直列化することで同時学習可能な形に整える。第二に、予測結果をセグメント化して各タスクの損失を構成したうえで、新たな勾配アライメント指標を導入する。この指標は、最終的な更新ベクトルと各損失固有の勾配との内積が正になるよう保証し、すべてのタスク損失に対して一貫した最適化速度を維持し、競合の度合いに応じて勾配の大きさを動的に調整する。

著者は数学的にHRGradの収束性を証明し、APNN(漸近保存ニューラルネットワーク)の代表的な困難ケースで評価した。実験はBhatnagar-Gross-Krook(BGK)方程式と線形輸送方程式のKnudsen数全範囲で行われ、既存APNNの失敗モードを実効的に克服したと報告されている。

読者にとっての意味は明確だ。PINNやAPNNを実問題に適用する際、スケール間の勾配競合は共通のボトルネックである。HRGradは収束証明付きで設計指針を示しており、運動論以外のマルチタスク学習や、物理インフォームド手法を扱うCAE・科学計算領域の実装判断に直接参照できる材料となる。