MDPの価値と最適方策
バグ・不具合を報告
有限状態のマルコフ意思決定過程について、期待割引報酬を最大化する方策と状態別・行動別の価値を算定する。
入力する報酬は比較可能な同じ単位とし、確率・報酬は既知と仮定します。
項目を入力・選択してから「計算する」を押してください。
選択内容に応じて、残りの入力項目を案内します。
計算結果
—
- 計算・収束状態
- —
- Bellman残差
- —
- 状態価値の理論誤差上界
- —
- 計算期数/反復回数
- —
値を入力して計算してください。
この計算機は使いやすかったですか?
回答はサイト改善のために保存します。入力値・計算結果は送りません。
ありがとうございます。よかったら、上の共有ボタンからこの計算機を紹介しませんか?
計算方法・適用範囲・出典
計算方法
Qₜ(s,a)=Σₛ′P(s′|s,a)[r(s,a,s′)+γVₜ₊₁(s′)]、Vₜ(s)=maxₐQₜ(s,a)。有限期間はV_{H+1}=0から第1期へ後向き帰納。割引無限期間ではT(V)(s)=maxₐΣP[r+γV(s′)]、V*=T(V*)。価値反復Vₖ₊₁=T(Vₖ)、方策反復は(I−γPπ)Vπ=rπを評価後に貪欲改善。Bellman残差r=||T(V)−V||∞、状態価値の理論誤差上界r/(1−γ)。終端状態は価値0、入るときの報酬は含みます。
状態価値、各行動Q値、選択方策、有限期間の時点別方策、Bellman残差・理論価値誤差上界・収束状態。
計算例(架空の数値)
合成例:状態Sに行動Aが1つ、S→Sの確率1、毎期報酬1、γ=0.5。無限期間のBellman方程式はV=1+0.5VなのでV=2。有限3期では1+0.5+0.25=1.75。
適用対象と限界
離散時間で状態・実行可能行動・遷移確率・遷移別報酬が既知の有限MDP(時間一様、完全観測)。平均報酬基準、無限期間γ=1、部分観測、遷移・報酬の推定、連続状態/行動、時間変化する遷移、実際の収益・意思決定の保証は対象外。。
採用した方式
- 有限期間(後向き帰納 v1.0(2026-11-14)):対象範囲 期間1~60、γ∈[0,1]、期末価値0/適用地域 地域非依存
- 割引無限期間の価値反復(Bellman同期反復・残差検査 v1.0(2026-11-14)):対象範囲 γ∈[0,1)、有限の状態/行動・有界報酬/適用地域 地域非依存
- 割引無限期間の方策反復(線形方程式による方策評価 v1.0(2026-11-14)):対象範囲 γ∈[0,1)、有限の状態/行動・有界報酬/適用地域 地域非依存
方法と出典
方法:Finite discounted MDP Bellman/backward/value/policy iteration v1.0 (2026-11-14)。データ記録日:2026-11-14。