打ち切りニュートン法は、ロン・デンボとトロン・ステイハウグの論文[1]に端を発し、ヘッセ行列式フリー最適化[2]としても知られる、多数の独立変数を持つ非線形関数を最適化するために設計された最適化アルゴリズムの一種です。打ち切りニュートン法は、ニュートン方程式を近似的に解き、関数のパラメータの更新を決定するための反復最適化アルゴリズムを繰り返し適用することで構成されます。内部ソルバーは打ち切られ、つまり限られた回数の反復でのみ実行されます。したがって、打ち切りニュートン法が機能するためには、内部ソルバーが有限回数の反復で良好な近似値を生成する必要があります。[3]共役勾配が内部ループの候補として提案され、評価されています。[2]もう1つの前提条件は、内部アルゴリズムの良好な前処理です。 [4]
参考文献
- ^ Dembo, Ron S.; Steihaug, Trond (1983). 「大規模制約なし最適化のための打ち切りニュートンアルゴリズム」.数理計画. 26 (2). Springer: 190– 212. doi :10.1007/BF02592055. S2CID 40537623.このアルゴリズムの収束結果は、Dembo, Ron S.; Eisenstat, Stanley C.; Steihaug, Trond (1982). "Inexact newton methods". SIAM Journal on Numerical Analysis . 19 (2): 400– 408. Bibcode :1982SJNA...19..400D. doi :10.1137/0719025. JSTOR 2156954.に掲載されています。。
- ^ ab Martens, James (2010). ヘッセフリー最適化によるディープラーニング(PDF) . Proc. International Conference on Machine Learning .
- ^ Nash, Stephen G. (2000). 「打ち切りニュートン法の概説」. Journal of Computational and Applied Mathematics . 124 ( 1–2 ): 45– 59. Bibcode :2000JCoAM.124...45N. doi : 10.1016/S0377-0427(00)00426-X .
- ^ Nash, Stephen G. (1985). 「打ち切りニュートン法の前処理」(PDF) . SIAM J. Sci. Stat. Comput . 6 (3): 599– 616. doi :10.1137/0906042.
さらに読む
- Grippo, L.; Lampariello, F.; Lucidi, S. (1989). 「制約なし最適化のための非単調直線探索法を用いた打ち切りニュートン法」. J. Optimization Theory and Applications . 60 (3): 401– 419. CiteSeerX 10.1.1.455.7495 . doi :10.1007/BF00940345. S2CID 18990650.
- ナッシュ, スティーブン・G.; ノセダル, ホルヘ (1991). 「大規模最適化のための限定メモリBFGS法と打ち切りニュートン法の数値的研究」SIAM J. Optim . 1 (3): 358– 372. CiteSeerX 10.1.1.474.3400 . doi :10.1137/0801023.
