Rprop

Rprop（レジリエント・バックプロパゲーション）は、フィードフォワード型人工ニューラルネットワークにおける教師あり学習のための学習ヒューリスティックです。これは一次最適化アルゴリズムです。このアルゴリズムは、1992年にマーティン・リードミラーとハインリッヒ・ブラウンによって考案されました。 ^{[ 1 ]}

マンハッタン更新規則と同様に、Rprop はすべてのパターンにおける偏微分の符号のみを考慮し（大きさは考慮しない）、各「重み」に対して独立に作用します。各重みについて、前回の反復と比較して総誤差関数の偏微分の符号が変化した場合、その重みの更新値には係数η ⁻が乗じられます（η ⁻  < 1）。前回の反復で同じ符号が生成された場合、更新値には係数η ⁺が乗じられます（η ⁺  > 1）。上記の方法で各重みの更新値が計算され、最終的に各重みは、その重みの偏微分の反対方向に、総誤差関数を最小化するように、その更新値だけ変更されます。η ^{+は経験的に 1.2 に、} η ^{− は}0.5に 設定されます。

Rpropは、勾配が大きい場合、重みの増分または減少が非常に大きくなる可能性があります。これは、フルバッチではなくミニバッチを使用する場合に問題となります。RMSpropは、各重みの二乗勾配の移動平均を保持し、その勾配を平均二乗の平方根で割ることでこの問題に対処します。

RPROPはバッチ更新アルゴリズムです。カスケード相関アルゴリズムやレーベンバーグ・マルカートアルゴリズムに次いで、Rpropは最も高速な重み更新メカニズムの一つです。

バリエーション

マーティン・リードミラーは3つのアルゴリズムを開発し、いずれもRPROPと名付けました。イゲルとヒュスケンはこれらに名前を付け、さらに新たな変種を追加しました。^{[ 2 ] [ 3 ]}

1. RPROP+は「より高速なバックプロパゲーション学習のための直接適応法：RPROPアルゴリズム」で定義されています。^{[ 4 ]}
2. RPROP−は、 「多層パーセプトロンにおける高度な教師あり学習 - バックプロパゲーションから適応学習アルゴリズムまで」で定義されています。RPROP+ではバックトラッキングは削除されています。^{[ 5 ]}
3. iRPROP−はRprop – 説明と実装の詳細^{[ 6 ]}で定義され、IgelとHüskenによって再発明されました。^{[ 3 ]}この変種は非常に人気があり、最も単純です。
4. iRPROP+はRprop学習アルゴリズムの改良で定義されており、非常に堅牢で、通常は他の3つの変種よりも高速です。^{[ 2 ] [ 3 ]}

参考文献

1. Martin Riedmiller und Heinrich Braun: Rprop - 高速適応学習アルゴリズム. Proceedings of the International Symposium on Computer and Information Science VII, 1992
2. クリスチャン・イーゲルとマイケル・ヒュスケン「Rprop学習アルゴリズムの改良」第2回国際ニューラルコンピューティングシンポジウム（NC 2000）、pp. 115-121、ICSCアカデミックプレス、2000年
3. クリスチャン・イゲルとマイケル・ヒュスケン「改良Rprop学習アルゴリズムの実証的評価」Neurocomputing 50:105-123, 2003
4. Martin RiedmillerとHeinrich Braun.高速バックプロパゲーション学習のための直接適応法：Rpropアルゴリズム. Proceedings of the IEEE International Conference on Neural Networks, 586-591, IEEE Press, 1993
5. マーティン・リードミラー.多層パーセプトロンにおける高度な教師あり学習 - バックプロパゲーションから適応学習アルゴリズムまで. コンピュータ標準とインタフェース16(5), 265-278, 1994
6. Martin Riedmiller. Rprop – 記述と実装の詳細. 技術レポート, 1994

外部リンク

• Rprop最適化ツールボックス
• MATLABでのニューラルネットワークのRpropトレーニング