状態・行動・報酬

MDP を構成する 3 要素。

状態 $s\in 𝒮$#

環境の状況を表す。設計が結果を大きく左右する。

• 情報が足りない → マルコフ性が崩れて学習できない
• 情報が多すぎる → 状態空間が爆発する

行動 $a\in 𝒜$#

エージェントが選べる選択肢。

種類	例	適する手法
離散	上下左右、駒の指し手	Q学習、DQN
連続	トルク、舵角	方策勾配法、SAC

Q学習は ${\max }_{a}Q(s,a)$ を取るため、 連続行動には直接使えない。

報酬 $r\in ℝ$#

何を達成したいかの唯一の表現。

報酬設計の落とし穴#

報酬は「何を」であって「どうやって」ではない。 中間目標を報酬に入れると、 その中間目標だけを稼ぐ行動を学習してしまう （報酬ハッキング）。

自転車で目的地に向かうタスクで 「目的地に近づいたら報酬」とすると、 近づいて離れてを繰り返して稼ぐ、という例が知られている。

原則として達成したいことだけに報酬を与え、 やり方は指定しない。

収益と割引#

最大化するのは即時報酬ではなく累積報酬。

$$G_t=\sum _{k=0}^{\infty }{\gamma }^k{r}_{t+k+1},0\le \gamma \le 1$$

$\gamma$（割引率）の役割。

• 無限和を収束させる（数学的な必要性）
• 将来より現在の報酬を重視する（近視眼の度合い）

$\gamma \to 1$ で長期的、$\gamma \to 0$ で近視眼的になる。 実務では 0.99 前後が多い。

参考文献#

• Richard S. Sutton, Andrew G. Barto. Reinforcement Learning: An Introduction, 2nd ed. MIT Press, 2018.（全文公開） http://incompleteideas.net/book/the-book-2nd.html
• Alex Y. Ng, Daishi Harada, Stuart Russell. Policy invariance under reward transformations. ICML, 1999. https://people.eecs.berkeley.edu/~pabbeel/cs287-fa09/readings/NgHaradaRussell-shaping-ICML1999.pdf