多腕バンディットの配信配分シミュレーション
バグ・不具合を報告
各回の想定報酬を基に、探索と活用の配分方策を逐次シミュレーションする。
各行の未選択案の報酬は、その回には観測されなかったものとして配分します。架空の完全な報酬系列を使う方式です。
入力すると自動で計算します。Enterで次の項目へ進めます。次の入力欄を選んで進めます。
選択内容に応じて、残りの入力項目を案内します。
計算結果
—件
- 配信機会
- —回
- 全配信の成功率
- —%
必要な値を入力すると自動で計算します。
この計算機は使いやすかったですか?
回答はサイト改善のために保存します。入力値・計算結果は送りません。
ありがとうございます。よかったら、上の共有ボタンからこの計算機を紹介しませんか?
計算方法・適用範囲・出典
計算方法
ε-greedyは各案を1回試した後、確率εで一様ランダム選択、それ以外は観測平均報酬が最大の案を選択(同点はseed付き乱数で一様選択)。UCB1は初期試行後、平均報酬+√(2 ln n/nᵢ)が最大の案を選択。nは過去の総配信回数、nᵢは案iの選択回数です(同点はAから先)。Thompson Samplingは各案のBeta(α+成功数, β+失敗数)から乱数を1個ずつ取り、最大の案を選択。乱数はseed付きxorshift32、Beta乱数はGamma乱数の比で生成。1行につき選択案の報酬0/1だけを更新し、未選択案の列は学習に使いません。配分率=案iの選択回数÷総回数×100。
配信先別の選択回数・比率、獲得報酬、逐次配分と報酬の経過。
計算例(架空の数値)
A・Bの報酬を6回分用意し、UCB1を選択。1回目Aの報酬0、2回目Bの報酬0なら、3回目は同点によりAから選びます。以降は選んだ案の報酬のみを累積し、配分回数と比率を計算します。
適用対象と限界
2~4件の配信案について、1回ごとの潜在的な0/1報酬をすべてシミュレーション入力できる場合。観測済みの通常の広告ログだけから未配信案の報酬を復元すること、コンテキスト付きバンディット、途中の確率変化、A/Bの因果推論、費用・金額報酬・欠測値の補完には対応しません。
採用した方式
- ε-greedy(Sutton & Barto 第2章(公開ドラフト)):対象範囲 二値報酬・各配信先の初期1回試行/適用地域 global
- UCB1(Auer et al. (2002) 図1):対象範囲 二値報酬・初期各1回、決定論的同点処理/適用地域 global
- Thompson Sampling(Agrawal & Goyal (2012) Algorithm 1):対象範囲 二値報酬・独立Beta事前分布/適用地域 global
方法と出典
方法:E164 Bernoulli replay v1.0(2026-11-13)。データ記録日:2026-11-13。