生成モデル評価のpass@k

複数の生成候補を持つ課題について、k回以内に少なくとも1件成功する確率を評価する。

入力すると自動で計算します。Enterで次の項目へ進めます。次の入力欄を選んで進めます。

全課題でk≤nにしてください。

原著のpass@kは課題ごとの値を単純平均します。加重平均は補助的な集計です。

課題別の生成数・成功数任意
行生成数 n(件) 任意成功数 c(件) 任意操作
1
2

2列を左端の欄へタブ区切りで貼り付けられます。200行まで。

1行が1課題です。空行は対象外、片側だけ入力した行は計算しません。TSVの2列貼り付けに対応します。


計算結果

必要な値を入力すると自動で計算します。

お気に入り一覧

計算方法・適用範囲・出典

計算方法

課題iごとに、nᵢは生成候補数、cᵢは成功候補数、kは評価候補数(1≤k≤nᵢ、0≤cᵢ≤nᵢ)。pᵢ=1−C(nᵢ−cᵢ,k)/C(nᵢ,k)、nᵢ−cᵢ<kならpᵢ=1。課題単純平均=Σpᵢ/課題数(原著)。生成数加重平均=Σnᵢpᵢ/Σnᵢ(参考)。組合せを直接計算せずlog1p/expm1による積の安定評価を使います。課題の順序と重複は保持し、空欄を0に置き換えません。

課題別のpass@kの不偏推定値、課題単純平均、生成数加重平均、生成・成功総数。

計算例(架空の数値)

例えば1課題でn=10、c=2、k=3なら、1−C(8,3)/C(10,3)=1−56/120=53.333333…%です。

適用対象と限界

独立かつ同一条件で生成し、同じ成否基準で全候補を採点した課題の集合。候補の順位付け・選別後の成功率、正解判定そのもの、独立性がない再生成、信頼区間、k>nの外挿、課題難易度補正を扱いません。生成数加重平均は原著のbenchmark指標ではありません。。

方法と出典

方法:Chen et al. (2021) §2.1 Eq. (1) / Fig. 3、E357 v1.0。データ記録日:2026-11-13。