生成モデル評価のpass@k
バグ・不具合を報告
複数の生成候補を持つ課題について、k回以内に少なくとも1件成功する確率を評価する。
入力すると自動で計算します。Enterで次の項目へ進めます。次の入力欄を選んで進めます。
計算結果
—%
- 課題単純平均(原著)
- —%
- 生成数加重平均(参考)
- —%
- 対象課題数
- —課題
- 生成候補の総数
- —件
- 成功候補の総数
- —件
必要な値を入力すると自動で計算します。
この計算機は使いやすかったですか?
回答はサイト改善のために保存します。入力値・計算結果は送りません。
ありがとうございます。よかったら、上の共有ボタンからこの計算機を紹介しませんか?
計算方法・適用範囲・出典
計算方法
課題iごとに、nᵢは生成候補数、cᵢは成功候補数、kは評価候補数(1≤k≤nᵢ、0≤cᵢ≤nᵢ)。pᵢ=1−C(nᵢ−cᵢ,k)/C(nᵢ,k)、nᵢ−cᵢ<kならpᵢ=1。課題単純平均=Σpᵢ/課題数(原著)。生成数加重平均=Σnᵢpᵢ/Σnᵢ(参考)。組合せを直接計算せずlog1p/expm1による積の安定評価を使います。課題の順序と重複は保持し、空欄を0に置き換えません。
課題別のpass@kの不偏推定値、課題単純平均、生成数加重平均、生成・成功総数。
計算例(架空の数値)
例えば1課題でn=10、c=2、k=3なら、1−C(8,3)/C(10,3)=1−56/120=53.333333…%です。
適用対象と限界
独立かつ同一条件で生成し、同じ成否基準で全候補を採点した課題の集合。候補の順位付け・選別後の成功率、正解判定そのもの、独立性がない再生成、信頼区間、k>nの外挿、課題難易度補正を扱いません。生成数加重平均は原著のbenchmark指標ではありません。。
方法と出典
方法:Chen et al. (2021) §2.1 Eq. (1) / Fig. 3、E357 v1.0。データ記録日:2026-11-13。