AWSが、基盤モデルAmazon Novaの過剰な安全ブロックを緩和する新技術「逆方向の選好最適化（rDPO）」を公開した。特定方針領域だけモデルの回避行動を消すアンラーニングを用い、承認顧客が安全設定を4分野で調整できる機能CCMSの基盤技術となる。
AWSは基盤モデルAmazon Novaの過剰な安全ブロックを緩和する新技術「逆方向の選好最適化（rDPO）」を公開した。特定の方針領域だけモデルの回避行動を消すアンラーニングを用い、承認顧客が安全設定を4分野で調整できる機能CCMS（カスタマイズ可能なコンテンツ審査設定）の基盤技術となる。
実測では安全分野の拒否率が86.51%から32.77%へ53.74ポイント低下した。従来のNPO（負の選好最適化）は忘れさせることに特化し出力品質が落ちる欠点があったが、rDPOは忘却応答から遠ざけつつ目標応答へ近づける二重目的で、品質を保ちながら過剰拒否を減らせる。学習は約30ステップで収束し、基盤モデルの重みを変えず追加学習部品（LoRAアダプター）のみで挙動を調整する。
調整可能なのは安全・センシティブ内容・公平性・セキュリティの4分野で、児童保護やプライバシー保護は変更不可として固定されている。従業員教育用のフィッシングメール見本作成など、既定審査で業務が止まっていたメディア・法務・セキュリティ用途の導入判断に直結する。
この変化で何が要点か。図解と出典つきで一目で。
構造化された事実を最初に。誰が何をいつどこでなぜどのように。
業務で基盤モデルを使う際、コンテンツ審査のための安全機構が、正当で業務上必要な用途まで拒否してしまう問題がある。たとえば従業員教育用のフィッシングメール見本を作らせようとしても、モデルが拒否することがある。この回避傾向は学習後の調整段階でモデルの内部（パラメータ）に埋め込まれており、指示文の工夫だけでは越えられない。従来の代表的手法「負の選好最適化（NPO）」は忘れさせることに特化しており、代わりの良い応答へ導けず出力品質が落ちる欠点があった。
rDPOは、忘れさせるだけでなく望ましい応答へ同時に導く二重目的により、品質を保ちながら過剰拒否を減らせる点が新しい。実測では安全分野の拒否率が86.51%から32.77%へ下がるなど全分野で大幅に低下し、しかも基盤モデルの重みを変えずに追加部品（LoRAアダプター）だけで実現している。メディア・法務・セキュリティなど、既定の審査で業務が止まっていた企業にとって導入判断に直結する。
AWSが公開した逆方向の選好最適化（rDPO＝Reverse Direct Preference Optimization）で、安全分野の拒否率は86.51%から32.77%へ、53.74ポイント下がった。これは基盤モデルAmazon Novaが正当な業務用途まで拒否してしまう「過剰拒否」を、業務が通る水準まで緩和した実測値である。
過剰拒否がなぜ厄介かというと、コンテンツ審査のための回避傾向が学習後の調整段階でモデルの内部（パラメータ）に埋め込まれており、指示文の工夫だけでは越えられないからだ。たとえば従業員教育用のフィッシングメール見本を作らせようとしても、モデルが拒否することがある。
we introduce Reverse Direct Preference Optimization (rDPO), the novel unlearning technique behind Amazon Nova Customizable Content Moderation Settings (CCMS), and show how it reduces over-deflection while preserving model quality.
ここでいうunlearning（アンラーニング）とは、モデルが学習で身につけた回避行動の一部だけを消すこと、over-deflection（過剰拒否）とは正当な要求まで応答を避ける挙動を指す。品質を保ちながら拒否を減らせた点が、この発表の核心だ。
従来の代表的手法である負の選好最適化（NPO＝Negative Preference Optimization）は、忘れさせることに特化していた。悪い応答から遠ざけることはできても、代わりに何を答えるべきかを教えられず、出力品質が落ちる欠点があった。
rDPOはここを設計から変えた。学習後調整の目的を逆転させ、忘却させたい応答から遠ざけつつ、望ましい目標応答へ同時に近づける二重目的で学習する。この「遠ざける＋近づける」の同時最適化が、品質を保ったまま過剰拒否を減らせる理由になっている。
効率でも差が出た。rDPOはNPOより効率的で、学習が約30ステップで収束したとAWSは報告している。NPOの元論文は公開されており、両手法の狙いの違いを一次情報で確認できる。
— Negative Preference Optimization (NPO)
さらに実装面では、基盤モデルの重み（モデル本体のパラメータ）を一切変えず、追加学習部品であるLoRAアダプター（モデルに外付けする小さな調整層）だけで挙動を変える。モデル全体を再学習する必要がないため、調整のコストと時間が小さく済む。
rDPOはCCMS（Customizable Content Moderation Settings＝カスタマイズ可能なコンテンツ審査設定）の基盤技術として位置づけられている。承認された顧客が、Amazon Novaの安全設定を分野ごとに調整できる機能だ。
調整できるのは次の4分野に限られる。
一方で、児童保護やプライバシー保護は変更不可として固定されている。つまり過剰拒否の緩和を無制限に開放したのではなく、緩められる領域と絶対に緩めない領域を明示的に線引きした設計になっている。
この線引きは、審査緩和を導入する企業にとって重要だ。どこまで自社用途に合わせて調整でき、どこは触れないのかが公式に定義されているため、社内のガバナンス設計とすり合わせやすい。関連する選好最適化の適用方法は、SageMaker AI上でのNovaカスタマイズ手順としても公開されている。
最も直接の恩恵を受けるのは、既定の審査で業務が止まっていた企業だ。従業員教育のためのフィッシングメール見本作成のような、正当だが安全機構に引っかかる用途を持つメディア・法務・セキュリティ部門が、4分野の設定を調整して業務を通せるようになる。
実装チームにとっての意味は別にある。基盤モデルの重みを変えずLoRAアダプターだけで審査挙動を変えられるため、モデル本体の再学習という重い工程を負わずに済む。約30ステップで収束するという効率も、検証サイクルの短さに直結する。
AWS自身は、過剰拒否という基盤モデル利用の実務的な障壁を、CCMSという承認顧客向け機能として自社スタック上で解決した。Amazon Novaを採用する動機を一つ増やしたことになる。
逆に、汎用の固定審査しか持たない基盤モデルを使い続ける現場は、指示文の工夫だけでは越えられない回避行動を抱えたままになる。正当な業務用途が拒否され続ける差が、審査を調整できる環境との間で広がる。
立場別、明日から動ける一手。
CCMSで調整可能な4分野（安全・センシティブ内容・公平性・セキュリティ）と変更不可の児童保護・プライバシー領域の線引きを公式ブログで確認する。
現行の固定審査で拒否されている業務用途と、rDPO適用後の拒否率低下（86.51%→32.77%）が自社のどの業務を通せるようにするかを比較する。
自社の定型プロンプトで過剰拒否の発生率を、rDPO適用前後で拒否件数と出力品質の変化を測る。
本トピックに直接ひもづくX上の反応は限定的で、AWS公式ブログ公開を起点とした技術者向けの初動段階にとどまる。
過剰拒否（over-deflection）の緩和を基盤モデルの重みを変えずLoRAアダプターだけで実現した点と、安全分野の拒否率が86.51%から32.77%へ53.74ポイント下がった実測値が、実装者の関心の中心になっている。現時点で賛否が割れる論争は観測されていない。
※トレンド検出時刻付近の人気投稿を表示
