MDPの価値と最適方策

有限状態のマルコフ意思決定過程について、期待割引報酬を最大化する方策と状態別・行動別の価値を算定する。

入力する報酬は比較可能な同じ単位とし、確率・報酬は既知と仮定します。

項目を入力・選択してから「計算する」を押してください。

選択内容に応じて、残りの入力項目を案内します。

計算する内容

1期後の価値に掛ける無次元係数。無限期間は1未満のみ。

停止条件は残差≤許容値。価値誤差の上界は別に表示します。

状態と終端条件必須
行状態ID状態の種類操作
1

2列を左端の欄へタブ区切りで貼り付けられます。12行まで。

状態IDは英数字から始まる32文字以内の識別子。終端状態では行動を設定しません。

入力すると開始状態からの到達可否と、その状態の価値を主結果に表示します。省略時は先頭状態を代表表示します。

状態・行動・遷移明細必須
行元状態ID行動ID先状態ID遷移確率遷移報酬操作
1

5列を左端の欄へタブ区切りで貼り付けられます。384行まで。

1行=遷移元×行動×遷移先。確率は0~1、同じ元状態・行動の確率合計は1(±1e-9)。報酬は遷移時の値で、負値と0も入力できます。


計算結果

値を入力して計算してください。

お気に入り一覧

計算方法・適用範囲・出典

計算方法

Qₜ(s,a)=Σₛ′P(s′|s,a)[r(s,a,s′)+γVₜ₊₁(s′)]、Vₜ(s)=maxₐQₜ(s,a)。有限期間はV_{H+1}=0から第1期へ後向き帰納。割引無限期間ではT(V)(s)=maxₐΣP[r+γV(s′)]、V*=T(V*)。価値反復Vₖ₊₁=T(Vₖ)、方策反復は(I−γPπ)Vπ=rπを評価後に貪欲改善。Bellman残差r=||T(V)−V||∞、状態価値の理論誤差上界r/(1−γ)。終端状態は価値0、入るときの報酬は含みます。

状態価値、各行動Q値、選択方策、有限期間の時点別方策、Bellman残差・理論価値誤差上界・収束状態。

計算例(架空の数値)

合成例:状態Sに行動Aが1つ、S→Sの確率1、毎期報酬1、γ=0.5。無限期間のBellman方程式はV=1+0.5VなのでV=2。有限3期では1+0.5+0.25=1.75。

適用対象と限界

離散時間で状態・実行可能行動・遷移確率・遷移別報酬が既知の有限MDP(時間一様、完全観測)。平均報酬基準、無限期間γ=1、部分観測、遷移・報酬の推定、連続状態/行動、時間変化する遷移、実際の収益・意思決定の保証は対象外。。

採用した方式

  • 有限期間(後向き帰納 v1.0(2026-11-14)):対象範囲 期間1~60、γ∈[0,1]、期末価値0/適用地域 地域非依存
  • 割引無限期間の価値反復(Bellman同期反復・残差検査 v1.0(2026-11-14)):対象範囲 γ∈[0,1)、有限の状態/行動・有界報酬/適用地域 地域非依存
  • 割引無限期間の方策反復(線形方程式による方策評価 v1.0(2026-11-14)):対象範囲 γ∈[0,1)、有限の状態/行動・有界報酬/適用地域 地域非依存

方法と出典

方法:Finite discounted MDP Bellman/backward/value/policy iteration v1.0 (2026-11-14)。データ記録日:2026-11-14。