エージェントと環境

エージェントと環境

執筆済 AI強化学習

強化学習の基本構造は、2 者の相互作用として定式化される。

        行動 a_t
  ┌──────────────→┐
エージェント        環境
  └←──────────────┘
    状態 s_{t+1}, 報酬 r_{t+1}

役割#

役割
エージェント 学習し、行動を決める側
環境 行動を受けて状態を変え、報酬を返す側

境界は「エージェントが任意に変えられるか」で引く。 ロボットのモーターは制御できても、 その物理特性は変えられないので環境側になる。

マルコフ決定過程 (MDP)#

環境を数学的に表す標準的な枠組み。

ℳ=(𝒮,𝒜,P,R,γ)

マルコフ性 — 次の状態は現在の状態と行動だけで決まる。

P(st+1|st,at)=P(st+1|st,at,st−1,…)

過去の履歴を持たなくてよい、という強い仮定。 成り立たない場合は、 履歴を状態に含める（フレームを複数重ねるなど）ことで近づける。

部分観測 (POMDP)#

エージェントが状態を完全には観測できない場合。 現実の問題の多くはこちら。 再帰的なモデルや信念状態の推定が必要になり、格段に難しくなる。

参考文献#