Kafka consumerのpartition割当・rebalance比較
バグ・不具合を報告
トピックのpartitionとconsumer購読・現所有者から再割当の偏りと移動を比較する。
すべてブラウザ内で計算します。Kafka brokerに接続せず、割当の計画値を比較します。
入力すると自動で計算します。Enterで次の項目へ進めます。次の入力欄を選んで進めます。
選択内容に応じて、残りの入力項目を案内します。
計算結果
—個
- 現所有者を維持
- —個
- 新たに所有者がつくpartition
- —個
- 購読先がなく未割当
- —個
- consumer間の担当数差
- —個
- 次回rebalanceで割当
- —個
必要な値を入力すると自動で計算します。
この計算機は使いやすかったですか?
回答はサイト改善のために保存します。入力値・計算結果は送りません。
ありがとうございます。よかったら、上の共有ボタンからこの計算機を紹介しませんか?
計算方法・適用範囲・出典
計算方法
Rangeは各topicのP partitionをC購読者へfloor(P/C)ずつ分け、辞書順の先頭P mod C人に1件ずつ加えます。RoundRobinはtopic辞書順・partition数値順で、辞書順のconsumerのうち購読する次の1人へ割り当てます。Sticky型は有効な旧所有を先に残し、未所有を低負荷の購読者へ分配し、移動経路探索で負荷差を改善します(Apache本体の完全なSticky算法ではありません)。Cooperative Sticky型では旧所有者が現役の場合、変更対象の第1段階を未割当にして解放し、次回rebalanceで目標の新所有者へ付与します。
最終割当表、consumer別負荷、方式比較、移動数、未割当数、cooperativeの第1段階/次回段階。
計算例(架空の数値)
2つのtopic(t0, t1)が各3partition、C0・C1が双方を購読する場合、RangeはC0へ4個、C1へ2個、RoundRobinは双方へ3個です。
適用対象と限界
最大1000partition、最大1000購読行、単一consumer groupの明示的なtopic購読。brokerとの通信、offset commit、負荷実測、rack-aware、group.instance.id、generation、regex/pattern subscription、broker側assignor、新consumer group protocolとJava内部の完全なSticky選択順は対象外です。。
採用した方式
- RangeAssignor(Apache Kafka 4.0.2 subset):対象範囲 トピック内partition昇順・購読者ID辞書順、rack/static memberなし/適用地域 global
- RoundRobinAssignor(Apache Kafka 4.0.2 subset):対象範囲 topic・partitionの辞書/数値順、購読者だけに巡回、rack/static memberなし/適用地域 global
- Sticky型参考モデル(E1900 v1.0):対象範囲 妥当な既存所有を保持し、残りを最小負荷へ配分後、探索上限内で負荷を改善。Apache内部実装の完全移植ではない/適用地域 global
- Cooperative Sticky型の二段階(E1900 v1.0):対象範囲 上記Sticky型目標割当への継続中旧所有者の解放/次回付与。世代や協調プロトコル通信は対象外/適用地域 global
方法と出典
方法:Kafka 4.0.2 Range/RoundRobin non-rack subset; E1900 sticky analogue v1.0 (2026-11-15)。データ記録日:2026-11-15。