arXivに2026年4月25日付で投稿された論文「Spend Less, Fit Better: Budget-Efficient Scaling Law Fitting via Active Experiment Selection」は、スケーリング則のフィッティング工程そのものを予算配分問題として定式化した。
背景として論文は、数百万ドル規模の学習計画に用いられるスケーリング則のフィッティング自体が数百万ドル単位のコストを伴う点を指摘する。十分な情報量を持つパイロット実験の組み立ては、もはや前処理ではなく主要な予算配分問題になっているというのが出発点だ。
提案手法は、異なるコストを持つ実行可能な実験候補プールを入力とし、高コストの目標領域への外挿精度を最大化するよう、どの実験を実行するかを逐次選択する。選択基準は不確実性考慮型で、目標領域への外挿に最も寄与する実験に予算を振り向ける。
結果として、多様なスケーリング則タスクのベンチマークにおいて、古典的な実験計画法ベースラインを一貫して上回り、全実験集合でフィッティングした場合の性能に近い精度を、全学習予算の約10%のみで達成したと報告されている。
実装は GitHub の PlanarG/active-sl で公開されており、手元のスケーリング則タスクで同じパイプラインを再現できる。大規模モデル学習の計画段階で、パイロット実験の設計を「勘と経験」から「逐次最適化」に置き換える実務的な足場になる。
