多腕バンディットの配信配分シミュレーション

各回の想定報酬を基に、探索と活用の配分方策を逐次シミュレーションする。

各行の未選択案の報酬は、その回には観測されなかったものとして配分します。架空の完全な報酬系列を使う方式です。

入力すると自動で計算します。Enterで次の項目へ進めます。次の入力欄を選んで進めます。

選択内容に応じて、残りの入力項目を案内します。

計算する内容
各回の想定報酬(成功1・失敗0)必須
行ABC 任意D 任意操作
1
2

4列を左端の欄へタブ区切りで貼り付けられます。300行まで。

1行が1回の配信機会です。A・Bは必須。C・Dは利用する場合だけ全行入力してください。実際の配信ログではなく、未選択先も含む架空・シミュレーション用の潜在報酬です。

0~100%。初期に各案を1回試行した後、指定確率で全案から一様に探索します。

0~4294967295の整数。同じ入力・seed・方式で同じ配分を再現します。UCB1は乱数を使いません。


計算結果

必要な値を入力すると自動で計算します。

お気に入り一覧

計算方法・適用範囲・出典

計算方法

ε-greedyは各案を1回試した後、確率εで一様ランダム選択、それ以外は観測平均報酬が最大の案を選択(同点はseed付き乱数で一様選択)。UCB1は初期試行後、平均報酬+√(2 ln n/nᵢ)が最大の案を選択。nは過去の総配信回数、nᵢは案iの選択回数です(同点はAから先)。Thompson Samplingは各案のBeta(α+成功数, β+失敗数)から乱数を1個ずつ取り、最大の案を選択。乱数はseed付きxorshift32、Beta乱数はGamma乱数の比で生成。1行につき選択案の報酬0/1だけを更新し、未選択案の列は学習に使いません。配分率=案iの選択回数÷総回数×100。

配信先別の選択回数・比率、獲得報酬、逐次配分と報酬の経過。

計算例(架空の数値)

A・Bの報酬を6回分用意し、UCB1を選択。1回目Aの報酬0、2回目Bの報酬0なら、3回目は同点によりAから選びます。以降は選んだ案の報酬のみを累積し、配分回数と比率を計算します。

適用対象と限界

2~4件の配信案について、1回ごとの潜在的な0/1報酬をすべてシミュレーション入力できる場合。観測済みの通常の広告ログだけから未配信案の報酬を復元すること、コンテキスト付きバンディット、途中の確率変化、A/Bの因果推論、費用・金額報酬・欠測値の補完には対応しません。

採用した方式

  • ε-greedy(Sutton & Barto 第2章(公開ドラフト)):対象範囲 二値報酬・各配信先の初期1回試行/適用地域 global
  • UCB1(Auer et al. (2002) 図1):対象範囲 二値報酬・初期各1回、決定論的同点処理/適用地域 global
  • Thompson Sampling(Agrawal & Goyal (2012) Algorithm 1):対象範囲 二値報酬・独立Beta事前分布/適用地域 global

方法と出典

方法:E164 Bernoulli replay v1.0(2026-11-13)。データ記録日:2026-11-13。