アロペックス

ALOPEX (「パターン抽出アルゴリズム」の略称) は、 1974 年にTzanakouと Harthによって初めて提案された相関ベースの機械学習アルゴリズムです。

原理

機械学習における目標は、コスト関数（ALOPEXでは応答関数）を最小化するようにシステムを学習させることです。バックプロパゲーションなどの多くの学習アルゴリズムは、応答関数の局所的最小値または最大値に「陥る」という固有の脆弱性を持っています。ALOPEXは、差分の相互相関と確率過程を用いてこの脆弱性を克服し、応答関数の絶対最小値（または最大値）への到達を試みます。

方法

ALOPEX は、最も単純な形式では、次の更新方程式によって定義されます。

${\displaystyle \Delta \ W_{ij}(n)=\gamma \ \Delta \ W_{ij}(n-1)\Delta \ R(n)+r_{i}(n)}$

どこ：

• ${\displaystyle n\geq 0}$ 反復または時間ステップです。
• ${\displaystyle \Delta \ W_{ij}(n)}$ 反復におけるシステム変数の現在の値と前回の値の差です。${\displaystyle \ W_{ij}}$ ${\displaystyle n}$
• ${\displaystyle \Delta \ R(n)}$ は、反復における応答関数の現在の値と前回の値の差です。${\displaystyle \R,}$ ${\displaystyle n}$
• ${\displaystyle \gamma}$ 学習率パラメータは最小化され、最大化される${\displaystyle (\gamma \ <0}$ ${\displaystyle R,}$ ${\displaystyle \gamma \ >0}$ ${\displaystyle R\)}$
• ${\displaystyle r_{i}(n)\sim \ N(0,\sigma \ ^{2})}$

議論

本質的に、ALOPEXは、変数の前回の変化、コスト関数の結果としての変化、および学習率パラメータの積に基づいて各システム変数を変更します。さらに、絶対最小値（または最大値）を見つけるために、確率過程（ガウス過程など）が追加され、アルゴリズムを局所最小値から確率的に「押し出す」ようになります。 ${\displaystyle W_{ij}(n)}$ ${\displaystyle \Delta }$ ${\displaystyle W_{ij}(n-1)}$ ${\displaystyle \Delta }$ ${\displaystyle R(n)}$ ${\displaystyle \gamma}$ ${\displaystyle r_{ij}(n)}$

参考文献

• Harth, E.; Tzanakou, E. (1974年12月). 「ALOPEX：視覚受容野を決定するための確率的手法」. Vision Research . 14 (12): 1475– 1482. doi : 10.1016/0042-6989(74)90024-8 . PMID  4446379 .