強化学習

強化学習（RL）シナリオの典型的な枠組み：エージェントは環境内で行動を取り、それが報酬と状態表現に変換され、エージェントにフィードバックされます。

機械学習と最適制御において、強化学習（RL ）は、報酬信号を最大化するために、知的なエージェントが動的な環境でどのように行動すべきかを扱います。強化学習は、教師あり学習と教師なし学習とともに、3つの基本的な機械学習パラダイムの1つです。

強化学習は、ラベル付けされた入力と出力のペアを提示する必要がなく、最適ではない行動を明示的に修正する必要がない点で、教師あり学習とは異なります。代わりに、累積報酬（フィードバックは不完全または遅延する可能性がある）を最大化することを目標として、探索（未踏の領域）と活用（現在の知識）のバランスを見つけることに焦点が当てられています。^[1]このバランスの探求は、探索と活用のジレンマとして知られています。

多くの強化学習アルゴリズムは動的計画法を使用するため、 環境は通常、マルコフ決定過程の形で表現されます。^[2]古典的な動的計画法と強化学習アルゴリズムの主な違いは、後者はマルコフ決定過程の正確な数学モデルの知識を前提とせず、正確な方法が実行不可能になる大規模なマルコフ決定過程を対象としていることです。^[3]

原則

強化学習はその汎用性から、ゲーム理論、制御理論、オペレーションズ・リサーチ、情報理論、シミュレーションベース最適化、マルチエージェントシステム、群知能、統計学など、多くの分野で研究されています。オペレーションズ・リサーチと制御の文献では、強化学習は近似動的計画法、またはニューロダイナミックプログラミングと呼ばれています。強化学習における重要な問題は、最適制御理論でも研究されてきました。最適制御理論は、最適解の存在と特性、そしてそれらの正確な計算アルゴリズムに主に焦点を当てており、学習や近似（特に環境の数学的モデルがない場合）についてはあまり研究されていません。

基本的な強化学習は、マルコフ決定過程としてモデル化されます。

• 環境とエージェントの状態の集合（状態空間）${\displaystyle {\mathcal {S}}}$
• エージェントの行動の集合（行動空間）${\displaystyle {\mathcal {A}}}$
• ${\displaystyle P_{a}(s,s')=\Pr(S_{t+1}{=}s'\mid S_{t}{=}s,A_{t}{=}a)}$ 行動中の状態から状態への遷移確率（時刻 における）。${\displaystyle t}$ ${\displaystyle s}$ ${\displaystyle s'}$ ${\displaystyle a}$
• ${\displaystyle R_{a}(s,s')}$ 行動中の状態から状態への遷移後の即時報酬。${\displaystyle s}$ ${\displaystyle s'}$ ${\displaystyle a}$

強化学習の目的は、エージェントが報酬関数、または即時の報酬から蓄積されるユーザーが提供するその他の強化信号を最大化する最適な（またはほぼ最適な）方策を学習することです。これは、動物心理学で発生すると思われるプロセスに似ています。たとえば、生物学的脳は、痛みや空腹などの信号を負の強化として解釈し、喜びや食物摂取を正の強化として解釈するようにハードワイヤードされています。状況によっては、動物はこれらの報酬を最適化する行動をとることを学びます。これは、動物が強化学習能力を持っていることを示唆しています。^{[4] [5]}

基本的な強化学習エージェントは、離散的な時間ステップで環境と相互作用します。各時間ステップtにおいて、エージェントは現在の状態と報酬を受け取ります。次に、利用可能な行動の集合から行動を選択し、それを環境に送信します。環境は新しい状態に移行し、遷移に関連付けられた報酬が決定されます。強化学習エージェントの目標は、 ${\displaystyle S_{t}}$ ${\displaystyle R_{t}}$ ${\displaystyle A_{t}}$ ${\displaystyle S_{t+1}}$ ${\displaystyle R_{t+1}}$ ${\displaystyle (S_{t},A_{t},S_{t+1})}$

$${\displaystyle {\begin{aligned}&\pi :{\mathcal {S}}\times {\mathcal {A}}\to [0,1]\\&\pi (s,a)=\Pr(A_{t}{=}a\mid S_{t}{=}s)\end{aligned}}}$$

期待される累積報酬を最大化する

問題をマルコフ決定過程として定式化することは、エージェントが現在の環境状態を直接観察することを前提としています。この場合、問題は完全観測可能性を持つと言われます。エージェントが状態のサブセットにしかアクセスできない場合、または観測された状態がノイズによって破損している場合、エージェントは部分観測可能性を持つと言われ、正式には問題は部分観測マルコフ決定過程として定式化する必要があります。どちらの場合も、エージェントが利用できるアクションの集合は制限できます。たとえば、口座残高の状態は正に制限できます。状態の現在の値が3で、状態遷移が値を4減らそうとする場合、遷移は許可されません

エージェントのパフォーマンスを最適に行動するエージェントのパフォーマンスと比較すると、そのパフォーマンスの違いから後悔という概念が生まれます。エージェントは、ほぼ最適に行動するためには、行動の長期的な結果（つまり、将来の報酬を最大化すること）について推論する必要がありますが、これに関連する即時の報酬はマイナスになる可能性があります。

したがって、強化学習は、長期報酬と短期報酬のトレードオフを含む問題に特に適しています。エネルギー貯蔵、^{[6] 、} ロボット制御、^{[7] 、} 太陽光発電機、^{[8] 、} バックギャモン、チェッカー、 [9]、囲碁（AlphaGo）、自動運転システム^{[10 ]} など、さまざまな問題にうまく適用されてきました。

強化学習を強力にする2つの要素は、サンプルを使用してパフォーマンスを最適化することと、関数近似を使用して大規模な環境に対処することです。これらの2つの主要なコンポーネントのおかげで、強化学習は次のような状況で大規模な環境で使用できます

• 環境のモデルは既知だが、解析解は利用できない。
• 環境のシミュレーションモデルのみが与えられている（シミュレーションベース最適化の対象）。^[11]
• 環境に関する情報を収集する唯一の方法は、環境と対話することである。

これらの問題のうち最初の2つは計画問題と見なすことができ（何らかの形式のモデルが利用可能であるため）、最後の1つは真の学習問題と見なすことができます。しかし、強化学習は両方の計画問題を機械学習問題に変換します。

探索

探索と活用のトレードオフは、BurnetasとKatehakis（1997）における多腕バンディット問題と有限状態空間マルコフ決定過程を通して最も徹底的に研究されてきました。 ^[12]

強化学習には巧妙な探索メカニズムが必要です。推定された確率分布を参照せずに行動をランダムに選択すると、パフォーマンスが低下します。（小規模な）有限マルコフ決定過程のケースは比較的よく理解されています。しかし、状態数に応じて適切にスケーリングできる（あるいは無限状態空間を持つ問題にスケーリングできる）アルゴリズムが不足しているため、単純な探索手法が最も実用的です。

そのような方法の1つは-greedyです。ここで、は探索と搾取の量を制御するパラメータです。確率がの場合、搾取が選択され、エージェントは長期的に最も効果的であると考える行動を選択します（行動間の関係は一様ランダムに切断されます）。あるいは、確率がの場合、探索が選択され、行動は一様ランダムに選択されます。は通常固定パラメータですが、スケジュールに従って調整することも（エージェントの探索を徐々に減らす）、またはヒューリスティックに基づいて適応的に調整することもできます。^[13]${\displaystyle \varepsilon }$ ${\displaystyle 0<\varepsilon <1}$ ${\displaystyle 1-\varepsilon }$ ${\displaystyle \varepsilon }$ ${\displaystyle \varepsilon }$

制御学習アルゴリズム

探索の問題を無視し、状態が観測可能であったとしても（以下では仮定）、過去の経験を用いてどの行動がより高い累積報酬につながるかを見つけるという問題は残ります。

最適性の基準

方策

エージェントの行動選択は、ポリシーと呼ばれるマップとしてモデル化され ます$${\displaystyle {\begin{aligned}&\pi :{\mathcal {A}}\times {\mathcal {S}}\to [0,1]\\&\pi (a,s)=\Pr(A_{t}{=}a\mid S_{t}{=}s)\end{aligned}}}$$

方策マップは、状態 にあるときに行動をとる確率を与える。^{[14] : 61}また、状態 で実行すべき行動を表す決定論的な方策も存在する 。 ${\displaystyle a}$ ${\displaystyle s}$ ${\displaystyle \pi }$ ${\displaystyle \pi (s)}$ ${\displaystyle s}$

状態価値関数

状態価値関数は、状態、すなわちから始まり、方策 に続いて続く期待割引収益として定義される。したがって、大まかに言えば、価値関数は、与えられた状態にあることが「どれだけ良いか」を推定する。^{[14] : 60}${\displaystyle V_{\pi }(s)}$ ${\displaystyle s}$ ${\displaystyle S_{0}=s}$ ${\displaystyle \pi }$

$${\displaystyle V_{\pi }(s)=\operatorname {\mathbb {E} } [G\mid S_{0}{=}s]=\operatorname {\mathbb {E} } \left[\sum _{t=0}^{\infty }\gamma ^{t}R_{t+1}\mid S_{0}{=}s\right],}$$

ここで、確率変数 は割引収益を表し、 は将来の割引報酬の合計として定義されます。 ${\displaystyle G}$

$${\displaystyle G=\sum _{t=0}^{\infty }\gamma ^{t}R_{t+1}=R_{1}+\gamma R_{2}+\gamma ^{2}R_{3}+\cdots ,}$$

は状態 からへの遷移に対する報酬、は割引率です。は1未満であるため、遠い将来の報酬は近い将来の報酬よりも重み付けが低くなります ${\displaystyle R_{t+1}}$ ${\displaystyle S_{t}}$ ${\displaystyle S_{t+1}}$ ${\displaystyle 0\leq \gamma <1}$ ${\displaystyle \gamma }$

アルゴリズムは、期待割引収益が最大となる方策を見つけなければなりません。マルコフ決定過程の理論から、一般性を失うことなく、探索をいわゆる定常方策の集合に限定できることが知られています。方策が定常であるとは、それによって返される行動分布が（観測エージェントの履歴から）最後に訪れた状態のみに依存する場合です。探索はさらに、決定論的定常方策に限定できます。決定論的定常方策は、現在の状態に基づいて決定論的に行動を選択します。このような方策は、状態の集合から行動の集合へのマッピングで識別できるため、一般性を失うことなく、このようなマッピングで識別できます。

ブルートフォース

ブルートフォースアプローチには2つのステップがあります。

• 可能な方策ごとに、それに従いながらリターンをサンプリングします。
• 期待割引収益が最大の方策を選択します

これに関する1つの問題は、政策の数が多くなる、あるいは無限になる可能性があることです。もう1つの問題は、収益の分散が大きい場合があり、各政策の割引収益を正確に推定するには多くのサンプルが必要になることです。

これらの問題は、何らかの構造を仮定し、あるポリシーから生成されたサンプルが他のポリシーの推定値に影響を与えることを許可することで改善できます。これを実現するための2つの主なアプローチは、価値関数推定と直接ポリシー探索です。

価値関数

価値関数アプローチは、ある政策（通常は「現在の」（政策オン）または最適な（政策オフ）のいずれか）の 期待割引収益の推定値のセットを維持することにより、割引収益を最大化する政策を見つけようとします。${\displaystyle \operatorname {\mathbb {E} } [G]}$

これらの手法はマルコフ決定過程の理論に依存しており、最適性は上記のものよりも強い意味で定義されています。つまり、政策は、任意の初期状態から最高の期待割引収益を達成する場合、最適です（つまり、初期分布はこの定義では役割を果たしません）。繰り返しますが、最適な政策は常に定常政策の中から見つけることができます

最適性を正式に定義するには、方策の状態値を次のように定義します。 ${\displaystyle \pi }$

$${\displaystyle V^{\pi }(s)=\operatorname {\mathbb {E} } [G\mid s,\pi ],}$$

ここで、は初期状態から続くことに関連する割引収益を表します。を の可能な最大状態値 と定義すると、 は変化することが許容されます ${\displaystyle G}$ ${\displaystyle \pi }$ ${\displaystyle s}$ ${\displaystyle V^{*}(s)}$ ${\displaystyle V^{\pi }(s)}$ ${\displaystyle \pi }$

$${\displaystyle V^{*}(s)=\max _{\pi }V^{\pi }(s).}$$

各状態においてこれらの最適な状態値を達成する方策は、最適と呼ばれます。明らかに、この意味で最適な方策は、期待割引収益を最大化するという意味でも最適です。なぜなら、は初期状態の分布からランダムにサンプリングされた状態（つまり）だからです。${\displaystyle V^{*}(s)=\max _{\pi }\mathbb {E} [G\mid s,\pi ]}$ ${\displaystyle s}$ ${\displaystyle \mu }$ ${\displaystyle \mu (s)=\Pr(S_{0}=s)}$

状態値で最適性を定義するのに十分ですが、行動値を定義することも有用です。状態、行動、方策が与えられた場合、におけるペアの行動値は で定義されます 。${\displaystyle s}$ ${\displaystyle a}$ ${\displaystyle \pi }$ ${\displaystyle (s,a)}$ ${\displaystyle \pi }$

$${\displaystyle Q^{\pi }(s,a)=\operatorname {\mathbb {E} } [G\mid s,a,\pi ],}$$

ここで、 は、最初に状態 で行動を取り、その後 に従うことに関連するランダム割引収益を表します。 ${\displaystyle G}$ ${\displaystyle a}$ ${\displaystyle s}$ ${\displaystyle \pi }$

マルコフ決定過程の理論によれば、 が最適な方策である場合、各状態 において最も高い行動値を持つ行動 から選択することで、最適に行動する（最適な行動を取る）とされています。このような最適方策（ ）の行動価値関数は最適行動価値関数と呼ばれ、一般的に と表記されます。要約すると、最適行動価値関数に関する知識だけで、最適に行動する方法を知るのに十分です ${\displaystyle \pi ^{*}}$ ${\displaystyle Q^{\pi ^{*}}(s,\cdot )}$ ${\displaystyle s}$ ${\displaystyle Q^{\pi ^{*}}}$ ${\displaystyle Q^{*}}$

マルコフ決定過程に関する完全な知識を前提とすると、最適な行動価値関数を計算するための2つの基本的なアプローチは、価値反復法と方策反復法です。どちらのアルゴリズムも、に収束する関数の列( )を計算します。これらの関数の計算には、状態空間全体にわたる期待値の計算が含まれますが、これは最小（有限）のマルコフ決定過程を除いて非現実的です。強化学習法では、期待値はサンプルを平均化し、関数近似手法を使用して、大きな状態行動空間にわたる価値関数を表現する必要性に対処することで近似されます。 ${\displaystyle Q_{k}}$ ${\displaystyle k=0,1,2,\ldots }$ ${\displaystyle Q^{*}}$

モンテカルロ法

モンテカルロ法^[15]は、サンプルリターンを平均化することで強化学習問題を解くために使用されます。環境のダイナミクスに関する完全な知識を必要とする手法とは異なり、モンテカルロ法は実際の経験またはシミュレートされた経験、つまり環境との相互作用から得られる状態、行動、報酬のシーケンスのみに依存します。そのため、モンテカルロ法は完全なダイナミクスが不明な状況にも適用できます。実際の経験からの学習は、環境に関する事前の知識を必要とせず、最適な行動につながる可能性があります。シミュレートされた経験を使用する場合、動的計画法 に必要な遷移確率の完全な指定ではなく、サンプル遷移を生成できるモデルのみが必要です

モンテカルロ法は、経験が最終的に終了するエピソードに分割されるエピソード型タスクに適用されます。方策と価値関数の更新はエピソードの完了後にのみ行われるため、これらの手法は段階的（オンライン）ではなく、エピソードごとに段階的に行われます。「モンテカルロ」という用語は、一般的にランダムサンプリングを伴うあらゆる手法を指しますが、この文脈では、部分収益ではなく完全収益から平均を計算する手法を指します。

これらの手法は、各状態-行動のペアのリターンが平均化されるバンディットアルゴリズムと同様に機能します。主な違いは、ある状態で行われた行動が同じエピソード内の後続の状態のリターンに影響を与えるため、問題が非定常になる点です。この非定常性に対処するために、モンテカルロ法は一般方策反復（GPI）の枠組みを使用します。動的計画法はマルコフ決定過程の完全な知識を用いて価値関数を計算しますが、モンテカルロ法はサンプルリターンを通してこれらの関数を学習します。価値関数と方策は動的計画法と同様に相互作用して最適性を達成し、最初に予測問題に対処し、次に方策の改善と制御に拡張します。これらはすべて、サンプルされた経験に基づいています。^[14]

時間差分法

最初の問題は、値が落ち着く前に手順が（一部またはすべての状態で）ポリシーを変更できるようにすることで修正されます。これも収束を妨げる可能性があるため、問題となる可能性があります。現在のほとんどのアルゴリズムはこれを実行し、一般化ポリシー反復アルゴリズムのクラスを生み出しています。多くのアクター・クリティック法はこのカテゴリに属します

2番目の問題は、軌跡が状態と行動のペアのいずれにも寄与できるようにすることで修正できます。これは3番目の問題にもある程度役立つ可能性がありますが、リターンの分散が大きい場合のより良い解決策は、再帰ベルマン方程式に基づくサットンの時間差分（TD）法です。^{[16] [17]} TD法における計算は、増分法（各遷移の後にメモリが変更され、遷移が破棄される場合）またはバッチ法（遷移がバッチ処理され、推定値がバッチに基づいて一度計算される場合）のいずれかです。最小二乗時間差分法^[18]などのバッチ法はサンプル内の情報をより有効に活用できる可能性がありますが、増分法は、計算量やメモリの複雑さが高いためにバッチ法が実行不可能な場合に唯一の選択肢となります。いくつかの方法では、2つのアプローチを組み合わせようとします。時間差分に基づく方法は、4番目の問題も克服します

TD特有のもう1つの問題は、再帰ベルマン方程式への依存に起因します。ほとんどのTD法には、ベルマン方程式に依存しないモンテカルロ法と、ベルマン方程式に完全に依存する基本的なTD法の間を連続的に補間できる、 いわゆるパラメータがあります。これは、この問題を軽減するのに効果的です。${\displaystyle \lambda }$ ${\displaystyle (0\leq \lambda \leq 1)}$

関数近似法

5番目の問題に対処するために、関数近似法が使用されます。線形関数近似は、各状態-行動ペアに有限次元ベクトルを割り当てるマッピングから始まります。次に、状態-行動ペアの行動値は、の成分をいくつかの重みで線形結合することによって得られます。${\displaystyle \phi }$ ${\displaystyle (s,a)}$ ${\displaystyle \phi (s,a)}$ ${\displaystyle \theta }$

$${\displaystyle Q(s,a)=\sum _{i=1}^{d}\theta _{i}\phi _{i}(s,a).}$$

次に、アルゴリズムは、個々の状態-行動ペアに関連付けられた値を調整する代わりに、重みを調整します。ノンパラメトリック統計（独自の特徴を構築しているように見える）のアイデアに基づく方法が検討されてきました

価値反復法も出発点として使用でき、Q学習アルゴリズムとその多くの変種を生み出します。^[19]ニューラルネットワークを使用してQを表現するディープQ学習法が含まれ、確率的探索問題にさまざまな応用があります。^[20]

行動値を使用する際の問題は、競合する行動値の高精度な推定値が必要になる可能性があることですが、リターンにノイズが多い場合は取得が困難になる可能性があります。ただし、この問題は時間差分法によってある程度軽減されます。いわゆる適合関数近似法を使用すると、一般性と効率性が損なわれます。

直接方策探索

別の方法は、方策空間（の一部）を直接探索することです。この場合、問題は確率的最適化のケースになります。利用可能な2つのアプローチは、勾配ベース法と勾配フリー法です

勾配ベース法（方策勾配法）は、有限次元（パラメータ）空間から方策空間への写像から始まります。パラメータベクトルが与えられた場合、方策を で表します。性能関数を で定義すると、穏やかな条件下では、この関数はパラメータベクトル の関数として微分可能になります。 の勾配が既知の場合、勾配上昇法を使用できます。勾配の解析的表現は利用できないため、ノイズを含む推定値のみが利用可能です。このような推定値は様々な方法で構築でき、WilliamsのREINFORCE法^[21]（シミュレーションベースの最適化の文献では尤度比法として知られています）などのアルゴリズムが生まれます。^[22]${\displaystyle \theta }$ ${\displaystyle \pi _{\theta }}$ ${\displaystyle \theta }$ ${\displaystyle \rho (\theta )=\rho ^{\pi _{\theta }}}$ ${\displaystyle \theta }$ ${\displaystyle \rho }$

多くの手法は勾配情報への依存を避けています。これには、シミュレーテッドアニーリング、クロスエントロピー探索、または進化計算法が含まれます。多くの勾配フリー法は（理論上および限界において）大域的最適解を達成できます

ノイズの多いデータでは、方策探索法の収束が遅くなる可能性があります。例えば、軌道が長く、リターンの分散が大きいエピソード問題では、このようなことが起こります。時間的な差異に依存する価値関数ベースの手法は、このような場合に役立つ可能性があります。近年、アクター・クリティック法が提案され、様々な問題で良好なパフォーマンスを示しました。^[23]

方策探索法は、ロボット工学の分野で使用されています。 ^[24]多くの方策探索法は、局所最適解に陥る可能性があります（局所探索に基づいているため）。

モデルベースアルゴリズム

最後に、上記の方法はすべて、既存の状態から行動をとった場合に次の各状態に至る確率であるマルコフ決定過程のモデルを最初に学習するアルゴリズムと組み合わせることができます。例えば、Dynaアルゴリズムは経験からモデルを学習し、それを用いて、実際の遷移に加えて、価値関数に対してよりモデル化された遷移を提供します。^[25]このような方法は、遷移を単純に保存して学習アルゴリズムに「再生」する場合など、非パラメトリックモデルの使用に拡張できる場合があります。^[26]

モデルベースの方法は、モデルフリーのアプローチよりも計算量が多くなる可能性があり、その有用性はマルコフ決定過程を学習できる範囲によって制限される可能性があります。^[27]

価値関数を更新する以外にも、モデルを使用する方法はあります。^[28]例えば、モデル予測制御では、モデルを使用して動作を直接更新します。

理論

ほとんどのアルゴリズムの漸近的動作と有限サンプル動作はどちらも十分に理解されています。オンライン性能が証明可能なアルゴリズム（探索問題への対処）が知られています。

マルコフ決定過程の効率的な探索は、BurnetasとKatehakis（1997）で示されています。^[12]多くのアルゴリズムでは有限時間性能の境界も現れていますが、これらの境界はかなり緩いと予想されるため、相対的な利点と限界をよりよく理解するにはさらなる研究が必要です。

増分アルゴリズムの場合、漸近収束の問題は解決されています。^{[明確化が必要]}時間差分ベースのアルゴリズムは、以前は可能だったよりも広い条件下で収束します（たとえば、任意の滑らかな関数近似で使用する場合）。

研究

研究テーマには以下が含まれます。

• アクター・クリティック・アーキテクチャ^[29]
• アクター・クリティック・シーナリー・アーキテクチャ^[3]
• 多数の条件下で、より少ない（またはパラメータなし）パラメータで動作する適応型手法
• ソフトウェアプロジェクトにおけるバグ検出^[30]
• 継続的な学習
• 論理ベースのフレームワーク（例：時相論理仕様、^[31]、報酬マシン^[32]、確率的議論^{[33] ）との組み合わせ}
• 大規模マルコフ決定過程における探索
• エンティティベース強化学習^{[34] [35] [36]}
• 人間のフィードバック^[37]
• スキル獲得における暗黙的学習と明示的学習の相互作用
• 情報探索的、好奇心型行動とタスク依存的な目標指向行動を区別する内発的動機づけ、大規模な経験的評価
• 大規模（または連続的）行動空間
• モジュール型および階層型強化学習^[38]
• マルチエージェント／分散型強化学習は興味深いトピックであり、応用範囲が拡大しています。^[39]
• 乗員中心制御
• コンピューティングリソースの最適化^{[40] [41] [42]}
• 部分情報（例：予測状態表現の使用）
• 新しい情報の最大化に基づく報酬関数^{[43] [44] [45]}
• サンプルベースプランニング（例：モンテカルロ木探索に基づく）
• 証券取引^[46]
• 転移学習^[47]
• 脳内のドーパミンに基づく学習をモデル化するTD学習。黒質から基底核機能へのドーパミン作動性投射は予測誤差である。
• 価値関数と方策探索法

主要なアルゴリズムの比較

次の表は、いくつかの基準に応じて方策を学習するための主要なアルゴリズムを示しています。

• アルゴリズムは、方策オン（現在の方策を介してサンプリングされた軌跡を使用して方策の更新を実行する）^[48]または方策オフのいずれかです。
• 行動空間は離散的（例：行動空間は「上がる」、「左に行く」、「右に行く」、「下がる」、「とどまる」）または連続的（例：腕を特定の角度で動かす）です。
• 状態空間は離散的（例：エージェントはグリッド内のセル内にいる）または連続的（例：エージェントは平面内の特定の位置にいる）です。

連合強化学習

連想強化学習タスクは、確率学習オートマトンタスクと教師あり学習パターン分類タスクの側面を組み合わせたものです。連想強化学習タスクでは、学習システムは環境と閉ループで相互作用します。^[52]

深層強化学習

このアプローチは、状態空間を明示的に設計することなく、深層ニューラルネットワークを使用することで強化学習を拡張します。^{[53] Google} DeepMindによるATARIゲームの学習に関する研究は、深層強化学習またはエンドツーエンド強化学習への注目を高めました。^[54]

敵対的深層強化学習

敵対的深層強化学習は、学習したポリシーの脆弱性に焦点を当てた強化学習における活発な研究分野です。この研究分野では、強化学習ポリシーが知覚できない敵対的操作の影響を受けやすいことが当初いくつかの研究で示されました。^{[55] [56] [57]}これらの脆弱性を克服するためのいくつかの方法が提案されていますが、最近の研究では、これらの提案された解決策は、深層強化学習ポリシーの現在の脆弱性を正確に表現するにはほど遠いことが示されています。^[58]

ファジー強化学習

強化学習にファジー推論を導入することにより、^{[59]連続空間における}ファジールールを用いて状態-行動価値関数を近似することが可能になります。ファジールールのIF-THEN形式により、このアプローチは結果を自然言語に近い形式で表現するのに適しています。ファジールール補間^[60]を用いてFRLを拡張することで、サイズが縮小されたスパースファジールールベースを使用して、基数ルール（最も重要な状態-行動価値）を強調することができます

逆強化学習

逆強化学習（IRL）では、報酬関数は与えられない。その代わりに、専門家の観察された行動が与えられれば報酬関数が推論される。その考え方は、しばしば最適または最適に近い観察された行動を模倣することである。^[61]人気の高い IRL パラダイムの 1 つに、最大エントロピー逆強化学習（MaxEnt IRL）がある。^[62] MaxEnt IRL は、一致する期待される特徴数に関連する制約に従って、観察された軌跡の確率分布のエントロピーを最大化することにより、報酬関数の線形モデルのパラメータを推定する。最近、MaxEnt IRL は、ランダム ユーティリティ逆強化学習（RU-IRL）と呼ばれるより一般的なフレームワークの特殊なケースであることが示された。^{[63] RU-IRL は、}ランダム ユーティリティ理論とマルコフ決定プロセスに基づいている。従来のIRLアプローチでは、観察対象エージェントの見かけ上のランダムな行動はランダムなポリシーに従うためであると仮定していましたが、RU-IRLでは、観察対象エージェントは決定論的なポリシーに従うものの、観察対象行動のランダム性は、観察者が観察対象エージェントが意思決定に使用する特徴に部分的にしかアクセスできないという事実に起因すると仮定しています。観察対象エージェントが実際に効用関数で考慮する特徴に関する観察者の無知を考慮するために、効用関数はランダム変数としてモデル化されます。

多目的強化学習

多目的強化学習（MORL）は、相反する選択肢を扱う強化学習の一種です。環境内で行動するエージェントを扱うという点で、多目的最適化とは異なります。^{[64] [65]}

安全な強化学習

安全強化学習（SRL）は、学習プロセスおよび／または展開プロセス中に合理的なシステム性能を確保し、および／または安全制約を尊重することが重要な問題において、期待収益を最大化する方策を学習するプロセスとして定義できます。^[66]代替アプローチはリスク回避型強化学習であり、期待収益の代わりに、条件付きリスク値（CVaR）などの収益のリスク尺度が最適化されます。 ^[67] CVaR目標は、リスクを軽減することに加えて、モデルの不確実性に対する堅牢性を高めます。^{[68] [69]ただし、リスク回避型強化学習におけるCVaR最適化には、勾配バイアス[70]}と成功の盲点^[71 ]を防ぐために特別な注意が必要です。

自己強化学習

自己強化学習（または自己学習）は、行動を伴う状態から状態への遷移後の即時報酬の概念を使用しない学習パラダイムです。外部強化は使用せず、エージェントの内部自己強化のみを使用します。内部自己強化は、感情のメカニズムによって提供されます。学習プロセスにおいて、感情は二次強化のメカニズムによって逆伝播されます。学習方程式には即時報酬は含まれず、状態評価のみが含まれます。 ${\displaystyle R_{a}(s,s')}$ ${\displaystyle s}$ ${\displaystyle s'}$ ${\displaystyle a}$

自己強化アルゴリズムは、各反復で次の機械学習ルーチンを実行するようにメモリマトリックスを更新します。 ${\displaystyle W=\|w(a,s)\|}$

1. 状況において行動を実行する。${\displaystyle s}$ ${\displaystyle a}$
2. 結果状況を受信する。${\displaystyle s'}$
3. 結果状況における状態評価を計算する。${\displaystyle v(s')}$ ${\displaystyle s'}$
4. クロスバーメモリを更新する。${\displaystyle w'(a,s)=w(a,s)+v(s')}$

メモリの初期条件は、遺伝的環境からの入力として受信されます。これは、1つの入力（状況）と1つの出力（行動または行動）のみを持つシステムです

自己強化（自己学習）は、1982年にクロスバー・アダプティブ・アレイ（CAA）と呼ばれる自己強化学習可能なニューラルネットワークとともに導入されました。^{[72] [73]} CAAは、クロスバー方式で、行動に関する決定と結果状態に関する感情（気持ち）の両方を計算します。このシステムは、認知と感情の相互作用によって駆動されます。^[74]

自然言語処理における強化学習

近年、強化学習は自然言語処理（NLP）において重要な概念となっています。NLPでは、タスクは静的な分類ではなく、順次的な意思決定であることが多いからです。強化学習とは、エージェントが環境内で行動を起こし、報酬の蓄積を最大化することです。このフレームワークは、対話生成、テキスト要約、機械翻訳など、出力の品質が単一の正しいラベルの予測ではなく、長期的または人間中心の目標の最適化に依存する多くのNLPタスクに最適です

NLPにおける強化学習の初期の応用は対話システムで見られ、そこでは会話は流暢さと一貫性に最適化された一連の動作として決定されていました。ポリシー勾配やシーケンスレベルのトレーニング手法を含むこれらの初期の試みは、強化学習をNLPの他の分野に広く応用するための基礎を築きました

大きな進歩は、人間のフィードバックからの強化学習（RLHF）の導入によって起こりました。これは、人間のフィードバック評価を用いて強化学習エージェントを導く報酬モデルを訓練する方法です。従来のルールベースまたは教師ありシステムとは異なり、RLHFでは、複雑で主観的なタスクにおいて、モデルが人間の判断と行動を一致させることができます。この技術は、人間の指示に従うように訓練された効果的な言語モデルであるInstructGPTの開発に最初に使用され、その後、出力応答の改善と安全性の確保のためにRLHFを組み込んだChatGPTにも使用されました。

最近では、研究者たちは、NLPにおけるオフライン強化学習の使用を研究し、実際の人間とのやり取りを必要とせずに対話システムを改善しています。これらの手法は、過去の会話ログと事前訓練された報酬モデルに基づいて、ユーザーのエンゲージメント、一貫性、多様性を最適化します。^[75]

一例として、DeepSeek-R1が挙げられます。これは、強化学習の前に多段階学習とコールドスタートデータを組み込んでいます。DeepSeek-R1は、推論タスクにおいてOpenAI-o1-1217に匹敵する性能を達成しています。このモデルは、予備段階として教師あり微調整（SFT）を行わない大規模強化学習（RL）によって学習されました。 ^[76]

強化学習アルゴリズムの統計的比較

強化学習アルゴリズムの効率的な比較は、強化学習システムの研究、展開、監視に不可欠です。特定の環境で異なるアルゴリズムを比較するために、エージェントを各アルゴリズムごとにトレーニングすることができます。パフォーマンスは実装の詳細に敏感であるため、すべてのアルゴリズムは可能な限り互いに近い形で実装する必要があります。^[77]トレーニングが終了したら、エージェントをテストエピソードのサンプルで実行し、スコア（リターン）を比較できます。エピソードは通常、 iidであると想定されるため、 t検定や順列検定などの標準的な統計ツールを仮説検定に使用できます。^[78]これには、エピソード内のすべての報酬を1つの数値、つまりエピソードリターンに集計する必要があります。ただし、異なる時間ステップが平均化され、ノイズレベルが異なる可能性があるため、情報の損失が発生します。エピソード全体でノイズレベルが変化する場合は常に、推定ノイズに応じて報酬に重み付けすることで、統計的検出力を大幅に向上させることができます。^[79]

課題と制限

大きな進歩にもかかわらず、強化学習（RL）は、現実世界のシナリオにおける広範な応用を妨げるいくつかの課題と制限に直面し続けています。

サンプルの非効率性

強化学習アルゴリズムは、効果的なポリシーを学習するために環境との多数のインタラクションを必要とすることが多く、エージェントのトレーニングに高い計算コストと多くの時間がかかります。例えば、OpenAIのDotaをプレイするボットは、人間レベルのパフォーマンスを達成するために数千年分のシミュレーションゲームプレイを利用しました。経験リプレイやカリキュラム学習などの手法は、サンプルの非効率性を解消するために提案されていますが、これらの手法は複雑さを増し、現実世界のアプリケーションには必ずしも十分ではありません。

安定性と収束の問題

強化学習モデル、特にディープニューラルネットワークベースのモデルのトレーニングは不安定で、発散しやすくなります。ポリシーや環境の小さな変更でもパフォーマンスが極端に変動し、一貫した結果を得ることが困難になります。この不安定性は、学習ステップがより複雑になり、予測不可能になる連続空間または高次元の行動空間の場合にさらに増大します。

一般化と移植性

特定の環境で訓練された強化学習エージェントは、学習したポリシーを新しい未知のシナリオに一般化するのに苦労することがよくあります。これが、適応性が極めて重要な動的な現実世界の環境への強化学習の適用を妨げる大きな障害となっています。課題は、大規模な再訓練なしに、タスクや環境間で知識を転送できるアルゴリズムを開発することです。

バイアスと報酬関数の問題

強化学習では、適切な報酬関数を設計することが重要です。適切に設計されていない報酬関数は、意図しない行動につながる可能性があるためです。さらに、偏ったデータで訓練された強化学習システムは、既存のバイアスを永続させ、差別的または不公平な結果につながる可能性があります。これらの問題はどちらも、公平性と望ましい行動を確保するために、報酬構造とデータソースを慎重に検討する必要があります。

参照

• 能動学習（機械学習）
• 徒弟学習
• エラー駆動学習
• モデルフリー（強化学習）
• マルチエージェント強化学習
• 最適制御
• Q学習
• 人間のフィードバックからの強化学習
• 状態-行動-報酬-状態-行動（SARSA）
• 時間差学習

参考文献

1. Kaelbling, Leslie P. ; Littman, Michael L. ; Moore, Andrew W. (1996). 「強化学習：概説」. Journal of Artificial Intelligence Research . 4 : 237– 285. arXiv : cs/9605103 . doi :10.1613/jair.301. S2CID  1708582. 2001年11月20日時点のオリジナルよりアーカイブ。
2. van Otterlo, M.; Wiering, M. (2012). 「強化学習とマルコフ決定過程」.強化学習. 適応、学習、最適化. 第12巻. pp.  3– 42. doi :10.1007/978-3-642-27645-3_1. ISBN 978-3-642-27644-6。
3. Li, Shengbo (2023). 逐次決定と最適制御のための強化学習（初版）. Springer Verlag, シンガポール. pp.  1– 460. doi :10.1007/978-981-19-7784-8. ISBN 978-9-811-97783-1. S2CID  257928563.
4. Russell, Stuart J.; Norvig, Peter (2010).人工知能：現代的アプローチ（第3版）.アッパーサドルリバー、ニュージャージー州：プレンティスホール. pp. 830, 831. ISBN 978-0-13-604259-4。
5. Lee, Daeyeol; Seo, Hyojung; Jung, Min Whan (2012年7月21日). 「強化学習と意思決定の神経基盤」. Annual Review of Neuroscience . 35 (1): 287– 308. doi :10.1146/annurev-neuro-062111-150512 . PMC 3490621. PMID  22462543 
6. Salazar Duque, Edgar Mauricio; Giraldo, Juan S.; Vergara, Pedro P.; Nguyen, Phuong; Van Der Molen, Anne; Slootweg, Han (2022). 「適格性トレースを用いた強化学習によるコミュニティエネルギー貯蔵運用」. Electric Power Systems Research . 212 108515. Bibcode :2022EPSR..21208515S. doi : 10.1016/j.epsr.2022.108515 . S2CID  250635151
7. Xie, Zhaoming; Hung Yu Ling; Nam Hee Kim; Michiel van de Panne (2020). 「ALLSTEPS：カリキュラム主導型ステッピングストーンスキル学習」arXiv : 2005.04323 [cs.GR].
8. Vergara, Pedro P.; Salazar, Mauricio; Giraldo, Juan S.; Palensky, Peter (2022). 「強化学習を用いた不平衡配電システムにおける太陽光発電インバータの最適ディスパッチ」International Journal of Electrical Power & Energy Systems . 136 107628. Bibcode :2022IJEPE.13607628V. doi : 10.1016/j.ijepes.2021.107628 . S2CID  244099841
9. サットン＆バート 2018、第11章
10. 任楊剛、江建華、張国建、李盛波エベン、陳陳、李克強、段静亮 (2022). 「信号付き交差点における自動運転車の統合意思決定および制御のための自己学習型知能」IEEE Transactions on Intelligent Transportation Systems . 23 (12): 24145– 24156. arXiv : 2110.12359 . Bibcode :2022ITITr..2324145R. doi :10.1109/TITS.2022.3196167.
11. ゴサヴィ・アビジット (2003). 「シミュレーションベース最適化：パラメトリック最適化手法と強化」オペレーションズ・リサーチ／コンピュータサイエンス・インターフェース・シリーズ. Springer. ISBN 978-1-4020-7454-7。
12. Burnetas, Apostolos N.; Katehakis, Michael N. (1997)、「マルコフ決定過程のための最適適応政策」、Mathematics of Operations Research、22 (1): 222– 255、doi :10.1287/moor.22.1.222、JSTOR  3690147
13. Tokic, Michel; Palm, Günther (2011)、「価値差に基づく探査：イプシロン貪欲法とソフトマックス法の間の適応制御」（PDF）、KI 2011：人工知能の進歩、コンピュータサイエンスの講義ノート、第7006巻、Springer、 335– 346ページ 、ISBN 978-3-642-24455-1
14. 「強化学習：入門」(PDF) 。 2017年7月12日にオリジナル(PDF)からアーカイブ。 2017年7月23日閲覧。
15. 3月1日). 「適格性トレースの置き換えによる強化学習」。機械学習。22 (1): 123– 158. doi :10.1007/BF00114726. ISSN  1573-0565
16. サットン、リチャード・S. (1984). 強化学習における時間的クレジット割り当て（博士論文）. マサチューセッツ大学アマースト校. 2017年3月30日時点のオリジナルからアーカイブ。 2017年3月29日閲覧。
17. サットン＆バート 2018, §6. 時間的差分学習
18. Bradtke, Steven J.; Barto, Andrew G. (1996). 「時間的差異法による予測学習」.機械学習. 22 : 33–57 . CiteSeerX 10.1.1.143.857 . doi :10.1023/A:1018056104778. S2CID  20327856. 
19. Watkins, Christopher JCH (1989). 遅延報酬からの学習(PDF) (博士論文). キングス・カレッジ、ケンブリッジ、英国.
20. Matzliach, Barouch; Ben-Gal, Irad; Kagan, Evgeny (2022). 「ディープQ学習能力を持つ自律エージェントによる静的および移動ターゲットの検出」. Entropy . 24 (8): 1168. Bibcode :2022Entrp..24.1168M. doi : 10.3390  / e24081168 . PMC 9407070. PMID 36010832 
21. Williams, Ronald J. (1987). "A class of gradient-estimating algorithms for reinforcement learning in neural networks". Proceedings of the IEEE First International Conference on Neural Networks. CiteSeerX 10.1.1.129.8871.
22. Peters, Jan; Vijayakumar, Sethu; Schaal, Stefan (2003). Reinforcement Learning for Humanoid Robotics (PDF). IEEE-RAS International Conference on Humanoid Robots. Archived from the original (PDF) on 2013-05-12. Retrieved 2006-05-08.
23. Juliani, Arthur (2016-12-17). "Simple Reinforcement Learning with Tensorflow Part 8: Asynchronous Actor-Critic Agents (A3C)". Medium. Retrieved 2018-02-22.
24. Deisenroth, Marc Peter; Neumann, Gerhard; Peters, Jan (2013). A Survey on Policy Search for Robotics (PDF). Foundations and Trends in Robotics. Vol. 2. NOW Publishers. pp. 1–142. doi:10.1561/2300000021. hdl:10044/1/12051.
25. Sutton, Richard (1990). "Integrated Architectures for Learning, Planning and Reacting based on Dynamic Programming". Machine Learning: Proceedings of the Seventh International Workshop.
26. Lin, Long-Ji (1992). "Self-improving reactive agents based on reinforcement learning, planning and teaching" (PDF). Machine Learning. Vol. 8. doi:10.1007/BF00992699.
27. Zou, Lan (2023-01-01), Zou, Lan (ed.), "Chapter 7 - Meta-reinforcement learning", Meta-Learning, Academic Press, pp. 267–297, doi:10.1016/b978-0-323-89931-4.00011-0, ISBN 978-0-323-89931-4, retrieved 2023-11-08
28. van Hasselt, Hado; Hessel, Matteo; Aslanides, John (2019). 「強化学習においてパラメトリックモデルを使用するべきタイミングはいつか？」(PDF) . Advances in Neural Information Processing Systems . Vol. 32.
29. Grondman, Ivo; Vaandrager, Maarten; Busoniu, Lucian; Babuska, Robert; Schuitema, Erik (2012-06-01). 「アクター・クリティック制御のための効率的なモデル学習法」 . IEEE Transactions on Systems, Man, and Cyber​​netics - Part B: Cyber​​netics . 42 (3): 591– 602. Bibcode :2012ITSMC..42..591G. doi :10.1109/TSMCB.2011.2170565. ISSN  1083-4419. PMID  22156998.
30. 「ゲームメカニクスのテストにおける強化学習の活用について：ACM - Computers in Entertainment」. cie.acm.org . 2018年11月27日閲覧
31. Li, Xiao; Vasile, Cristian-Ioan; Belta, Calin (2017). 「時相論理報酬を用いた強化学習」 . 2017 IEEE/RSJ 国際知能ロボット・システム会議 (IROS) . pp.  3834– 3839. doi :10.1109/IROS.2017.8206234
32. トロ・イカルテ、ロドリゴ；クラスン、トリン・Q；ヴァレンツァーノ、リチャード；マクイルレイス、シーラ・A (2022). 「報酬マシン：強化学習における報酬関数構造の活用」人工知能研究ジャーナル. 73 : 173–208 . arXiv : 2010.03950 . doi :10.1613/jair.1.12440
33. Riveret, Régis; Gao, Yang; Governatori, Guido; Rotolo, Antonino; Pitt, Jeremy; Sartor, Giovanni (2019). 「強化学習エージェントのための確率的議論フレームワーク」 .自律エージェントとマルチエージェントシステム. 33 ( 1–2 ): 216–274 . doi :10.1007/s10458-019-09404-2.
34. Haramati, Dan; Daniel, Tal; Tamar, Aviv (2024). 「ピクセルからの物体操作のためのエンティティ中心強化学習」. arXiv : 2404.01220 [cs.RO]
35. Thompson, Isaac Symes; Caron, Alberto; Hicks, Chris; Mavroudis, Vasilios (2024-11-07). 「自律型サイバー防御のためのエンティティベース強化学習」.自律型サイバーセキュリティに関するワークショップ (AutonomousCyber​​ '24) の議事録. ACM. pp.  56– 67. arXiv : 2410.17647 . doi :10.1145/3689933.3690835.
36. Winter, Clemens (2023-04-14). 「エンティティベース強化学習」. Clemens Winterのブログ.
37. Aomori, Taku; McConville, Ryan; Santos-Rodriguez, Raul (2021-11-16). 「多様なスキルを持つ複数の人間からのフィードバックによる強化学習」. arXiv : 2111.08596 [cs.LG]
38. Kulkarni, Tejas D.; Narasimhan, Karthik R.; Saeedi, Ardavan; Tenenbaum, Joshua B. (2016). 「階層的深層強化学習：時間的抽象化と内発的動機の統合」.第30回国際神経情報処理システム会議議事録. NIPS'16. 米国：Curran Associates Inc.: 3682–3690 . arXiv : 1604.06057 .書誌コード:2016arXiv160406057K. ISBN  978-1-5108-3881-9。
39. 「強化学習／強化学習の成功」. umichrl.pbworks.com . 2017年8月6日閲覧
40. Dey, Somdip; Singh, Amit Kumar; Wang, Xiaohang; McDonald-Maier, Klaus (2020年3月). 「CPU-GPUモバイルMPSoCの電力効率と熱効率のためのユーザーインタラクションを考慮した強化学習」. 2020 Design, Automation & Test in Europe Conference & Exhibition (DATE) (PDF) . pp.  1728– 1733. doi :10.23919/DATE48585.2020.9116294. ISBN 978-3-9819263-4-7. S2CID  219858480.
41. Quested, Tony. 「エセックスのイノベーションでスマートフォンがさらにスマートに」. Business Weekly . 2021年6月17日閲覧
42. Williams, Rhiannon (2020-07-21). 「将来のスマートフォンは、所有者の行動を監視することでバッテリー寿命を延ばすだろう」. i . 2021-06-17閲覧.
43. Kaplan, F.; Oudeyer, P. (2004). 「学習の進歩の最大化：発達のための内的報酬システム」. Iida, F.; Pfeifer, R.; Steels, L.; Kuniyoshi, Y. (編). Embodied Artificial Intelligence . Lecture Notes in Computer Science. Vol. 3139. ベルリン; ハイデルベルク: Springer. pp.  259– 270. doi :10.1007/978-3-540-27833-7_19. ISBN 978-3-540-22484-6 S2CID  9781221
44. Klyubin, A.; Polani, D.; Nehaniv, C. (2008). 「選択肢を広く保つ：感覚運動システムのための情報に基づく駆動原理」. PLOS ONE . 3 (12) e4018. Bibcode :2008PLoSO...3.4018K. doi : 10.1371/journal.pone.0004018 . PMC 2607028. PMID  19107219. 
45. 内発的動機付けと強化学習」. 自然システムと人工システムにおける内発的動機付け学習(PDF) . ベルリン; ハイデルベルク: Springer. pp.  17– 47
46. ケビン・ダベリウス、エルビン・グラナット、パトリック・カールソン (2020). 「ディープ・エグゼキューション - 取引と市場ベンチマークを上回るための価値とポリシーに基づく強化学習」.金融機械学習ジャーナル. 1. SSRN  3374766.
47. ジョージ・カリンパナル、トーメン、ローランド・ブファナイス (2019). 「強化学習における知識の保存と転送のための自己組織化マップ」.アダプティブ・ビヘイビア. 27 (2): 111– 126. arXiv : 1811.08318 . doi :10.1177/1059712318818568. ISSN  1059-7123. S2CID  53774629
48. cf. Sutton & Barto 2018, 5.4節, 100ページ
49. J Duan; Y Guan; S Li (2021). 「分散型ソフトアクタークリティック：価値推定誤差に対処するためのオフポリシー強化学習」. IEEE Transactions on Neural Networks and Learning Systems . 33 (11): 6584– 6598. arXiv : 2001.02811 . doi :10.1109/TNNLS.2021.3082568. PMID  34101599. S2CID  211259373
50. Y Ren、J Duan、S Li (2020). 「ミニマックス分布ソフトアクタークリティックによる強化学習の一般化の改善」. 2020 IEEE 第23回国際高度道路交通システム会議 (ITSC) . pp.  1– 6. arXiv : 2002.05502 . doi :10.1109/ITSC45102.2020.9294300. ISBN 978-1-7281-4149-7. S2CID  211096594
51. Duan, J; Wang, W; Xiao, L (2025). 「3つの改良点を備えた分散型ソフトアクタークリティック」. IEEE Transactions on Pattern Analysis and Machine Intelligence . PP (5): 3935– 3946. arXiv : 2310.05858 . Bibcode :2025ITPAM..47.3935D. doi :10.1109/TPAMI.2025.3537087. PMID  40031258.
52. Soucek, Branko (6 May 1992). Dynamic, Genetic and Chaotic Programming: The Sixth-Generation Computer Technology Series. John Wiley & Sons, Inc. p. 38. ISBN 0-471-55717-X。
53. Francois-Lavet, Vincent; et al. (2018). "An Introduction to Deep Reinforcement Learning". Foundations and Trends in Machine Learning. 11 (3–4): 219–354. arXiv:1811.12560. Bibcode:2018arXiv181112560F. doi:10.1561/2200000071. S2CID 54434537.
54. Mnih, Volodymyr; et al. (2015). "Human-level control through deep reinforcement learning". Nature. 518 (7540): 529–533. Bibcode:2015Natur.518..529M. doi:10.1038/nature14236. PMID 25719670. S2CID 205242740.
55. Goodfellow, Ian; Shlens, Jonathan; Szegedy, Christian (2015). "Explaining and Harnessing Adversarial Examples". International Conference on Learning Representations. arXiv:1412.6572.
56. Behzadan, Vahid; Munir, Arslan (2017). "Vulnerability of Deep Reinforcement Learning to Policy Induction Attacks". Machine Learning and Data Mining in Pattern Recognition. Lecture Notes in Computer Science. Vol. 10358. pp. 262–275. arXiv:1701.04143. doi:10.1007/978-3-319-62416-7_19. ISBN 978-3-319-62415-0. S2CID 1562290.
57. Huang, Sandy; Papernot, Nicolas; Goodfellow, Ian; Duan, Yan; Abbeel, Pieter (2017-02-07). Adversarial Attacks on Neural Network Policies. OCLC 1106256905.
58. Korkmaz, Ezgi (2022). 「深層強化学習ポリシーはMDP間で共有される敵対的特徴を学習する」.第36回AAAI人工知能会議 (AAAI-22) . 36 (7): 7229– 7238. arXiv : 2112.09025 . doi : 10.1609/aaai.v36i7.20684 . S2CID  245219157.
59. Berenji, HR (1994). 「ファジーQ学習：ファジー動的計画法への新しいアプローチ」. 1994年IEEE第3回国際ファジーシステム会議議事録. 米国フロリダ州オーランド: IEEE. pp.  486– 491. doi :10.1109/FUZZY.1994.343737. ISBN 0-7803-1896-X. S2CID  56694947
60. Vincze, David (2017). 「ファジールール補間と強化学習」(PDF) . 2017 IEEE 第15回応用機械知能・情報科学国際シンポジウム (SAMI) . IEEE. pp.  173– 178. doi :10.1109/SAMI.2017.7880298. ISBN 978-1-5090-5655-2. S2CID  17590120.
61. Ng, AY; Russell, SJ (2000). 「逆強化学習のためのアルゴリズム」(PDF) . Proceeding ICML '00 Proceedings of the Seventeenth International Conference on Machine Learning . Morgan Kaufmann Publishers. pp.  663– 670. ISBN 1-55860-707-2。
62. Ziebart, Brian D.; Maas, Andrew; Bagnell, J. Andrew; Dey, Anind K. (2008-07-13). 「最大エントロピー逆強化学習」.第23回人工知能会議議事録 - 第3巻. AAAI'08. シカゴ、イリノイ州: AAAI Press: 1433–1438 . ISBN 978-1-57735-368-3. S2CID  336219
63. Pitombeira-Neto, Anselmo R.; Santos, Helano P.; Coelho da Silva, Ticiana L.; de Macedo, José Antonio F. (2024年3月). 「ランダム効用逆強化学習による軌道モデリング」. Information Sciences . 660 120128. arXiv : 2105.12092 . doi :10.1016/j.ins.2024.120128. ISSN  0020-0255. S2CID  235187141
64. Hayes C, Radulescu R, Bargiacchi E, et al. (2022). 「多目的強化学習とプランニングの実践ガイド」.自律エージェントとマルチエージェントシステム. 36-26 . arXiv : 2103.09568 . doi : 10.1007/s10458-022-09552-y . S2CID  254235920.,
65. Tzeng, Gwo-Hshiung; Huang, Jih-Jeng (2011).多属性意思決定：方法と応用（第1版）. CRC Press. ISBN 978-1-4398-6157-8。
66. García, Javier; Fernández, Fernando (2015年1月1日). 「安全な強化学習に関する包括的な調査」(PDF) . The Journal of Machine Learning Research . 16 (1): 1437–1480 .
67. 月3日). 「分布強化学習のための暗黙的分位点ネットワーク」.第35回国際機械学習会議議事録. PMLR: 1096–1105 . arXiv : 1806.06923
68. Chow, Yinlam; Tamar, Aviv; Mannor, Shie; Pavone, Marco (2015). 「リスクに配慮した堅牢な意思決定：CVaR最適化アプローチ」. Advances in Neural Information Processing Systems . 28. Curran Associates, Inc. arXiv : 1506.02188 .
69. 「厳しく訓練すれば楽に戦える：堅牢なメタ強化学習」. scholar.google.com . 2024年6月21日閲覧
70. Tamar, Aviv; Glassner, Yonatan; Mannor, Shie (2015-02-21). 「サンプリングによるCVaRの最適化」. AAAI人工知能会議議事録. 29 (1). arXiv : 1404.3862 . doi :10.1609/aaai.v29i1.9561. ISSN  2374-3468.
71. , Shie (2022-12-06). 「効率的なリスク回避型強化学習」.ニューラル情報処理システムの進歩. 35 : 32639– 32652. arXiv : 2205.05138
72. Bozinovski, S. (1982). 「二次強化を用いた自己学習システム」. Trappl, Robert (編). サイバネティクスとシステム研究：第6回ヨーロッパサイバネティクスとシステム研究会議議事録. North-Holland. pp. 397–402. ISBN 978-0-444-86488-8
73. Bozinovski S. (1995)「神経遺伝学的エージェントと自己強化学習システムの構造理論」CMPSCI技術報告書95-107、マサチューセッツ大学アマースト校 [1]
74. Bozinovski, S. (2014) 「1981年以降の人工ニューラルネットワークにおける認知-感情相互作用のモデル化メカニズム」. Procedia Computer Science p. 255–263
75. 「強化学習のためのAPI」2025年1月22日。 2025年1月22日閲覧。
76. 「DeepSeek-R1：強化学習によるLLMの推論能力のインセンティブ化」arXiv。2025年1月22日。2025年1月22日閲覧
77. ローガン・エングストロム、アンドリュー・イリヤス、シバニ・サントゥルカール、ディミトリス・ツィプラス、フィルダウス・ヤヌース、ラリー・ルドルフ、アレクサンダー・マドリ (2019年9月25日). 「深層強化学習における実装の重要性：PPOとTRPOのケーススタディ」ICLR
78. 月6日). 「強化学習アルゴリズムの統計的比較へのヒッチハイクガイド」国際学習表現会議. arXiv : 1904.06979
79. Greenberg, Ido; Mannor, Shie (2021-07-01). 「エピソード強化学習における報酬劣化の検出」.第38回国際機械学習会議議事録. PMLR: 3842–3853 . arXiv : 2010.11660 .

さらに詳しく

• Annaswamy, Anuradha M. (2023年5月3日). 「適応制御と強化学習との交差」. Annual Review of Control, Robotics, and Autonomous Systems . 6 (1): 65–93 . doi : 10.1146/annurev-control-062922-090153 . ISSN  2573-5144. S2CID  255702873
• Auer, Peter、Jaksch, Thomas、Ortner, Ronald (2010). 「強化学習における準最適な後悔境界」. Journal of Machine Learning Research . 11 : 1563–1600 .
• Bertsekas, Dimitri P. (2023) [2019]. 強化学習と最適制御（第1版）. Athena Scientific. ISBN 978-1-886-52939-7。
• ブソニウ、ルシアン、バブスカ、ロバート、デ・シュッター、ダミアン・エルンスト（2010年）。『関数近似器を用いた強化学習と動的計画法』Taylor & Francis CRC Press。ISBN  978-1-4398-2108-4。
• François-Lavet, Vincent; Henderson, Peter; Islam, Riashat; Bellemare, Marc G.; Pineau, Joelle (2018). 「深層強化学習入門」.機械学習の基礎と動向. 11 ( 3–4 ): 219–354 . arXiv : 1811.12560 . Bibcode :2018arXiv181112560F. doi :10.1561/2200000071. S2CID  54434537.
• Li, Shengbo Eben (2023). 逐次決定と最適制御のための強化学習（第1版）. Springer Verlag, シンガポール. doi :10.1007/978-981-19-7784-8. ISBN 978-9-811-97783-1。
• Powell, Warren (2011). 近似動的計画法：次元の呪いを解く. Wiley-Interscience. 2016年7月31日にオリジナルからアーカイブ。 2010年9月8日閲覧。
• Sutton, Richard S. (1988). 「時間差法による予測学習」.機械学習. 3 : 9–44 . doi : 10.1007/BF00115009 .
• Sutton, Richard S. ; Barto, Andrew G. (2018) [1998]. 強化学習：入門（第2版）. MIT Press. ISBN 978-0-262-03924-6。
• Szita, Istvan; Szepesvari, Csaba (2010). 「ほぼタイトな探索複雑度境界を持つモデルベース強化学習」(PDF) . ICML 2010. Omnipress. pp.  1031– 1038. 2010年7月14日にオリジナル(PDF)からアーカイブ。

外部リンク

• Pythonコードによる強化学習に関するブログ投稿シリーズ「強化学習の分析」
• 強化学習の（長い）一瞥