Kafka consumerのpartition割当・rebalance比較

トピックのpartitionとconsumer購読・現所有者から再割当の偏りと移動を比較する。

すべてブラウザ内で計算します。Kafka brokerに接続せず、割当の計画値を比較します。

入力すると自動で計算します。Enterで次の項目へ進めます。次の入力欄を選んで進めます。

選択内容に応じて、残りの入力項目を案内します。

計算する内容
トピックとpartition数必須
行トピック名partition数(個)操作
1
2

2列を左端の欄へタブ区切りで貼り付けられます。1000行まで。

partition番号は各トピックで0から始まります。全トピック合計で1000partitionまで。

consumerと購読トピックの組必須
行consumer ID購読トピック操作
1
2

2列を左端の欄へタブ区切りで貼り付けられます。1000行まで。

1行にconsumer IDと購読トピック1件を入力します。同じconsumerが複数トピックを購読するときは行を追加してください。

変更前のpartition所有者(任意)任意
行旧consumer IDトピックpartition番号(0起点)操作
1

3列を左端の欄へタブ区切りで貼り付けられます。1000行まで。

初期割当なら空欄。変更前の所有者を1partitionにつき1行で入力してください。購読表から消えたconsumer IDは退出済みとして扱います。


計算結果

必要な値を入力すると自動で計算します。

お気に入り一覧

計算方法・適用範囲・出典

計算方法

Rangeは各topicのP partitionをC購読者へfloor(P/C)ずつ分け、辞書順の先頭P mod C人に1件ずつ加えます。RoundRobinはtopic辞書順・partition数値順で、辞書順のconsumerのうち購読する次の1人へ割り当てます。Sticky型は有効な旧所有を先に残し、未所有を低負荷の購読者へ分配し、移動経路探索で負荷差を改善します(Apache本体の完全なSticky算法ではありません)。Cooperative Sticky型では旧所有者が現役の場合、変更対象の第1段階を未割当にして解放し、次回rebalanceで目標の新所有者へ付与します。

最終割当表、consumer別負荷、方式比較、移動数、未割当数、cooperativeの第1段階/次回段階。

計算例(架空の数値)

2つのtopic(t0, t1)が各3partition、C0・C1が双方を購読する場合、RangeはC0へ4個、C1へ2個、RoundRobinは双方へ3個です。

適用対象と限界

最大1000partition、最大1000購読行、単一consumer groupの明示的なtopic購読。brokerとの通信、offset commit、負荷実測、rack-aware、group.instance.id、generation、regex/pattern subscription、broker側assignor、新consumer group protocolとJava内部の完全なSticky選択順は対象外です。。

採用した方式

  • RangeAssignor(Apache Kafka 4.0.2 subset):対象範囲 トピック内partition昇順・購読者ID辞書順、rack/static memberなし/適用地域 global
  • RoundRobinAssignor(Apache Kafka 4.0.2 subset):対象範囲 topic・partitionの辞書/数値順、購読者だけに巡回、rack/static memberなし/適用地域 global
  • Sticky型参考モデル(E1900 v1.0):対象範囲 妥当な既存所有を保持し、残りを最小負荷へ配分後、探索上限内で負荷を改善。Apache内部実装の完全移植ではない/適用地域 global
  • Cooperative Sticky型の二段階(E1900 v1.0):対象範囲 上記Sticky型目標割当への継続中旧所有者の解放/次回付与。世代や協調プロトコル通信は対象外/適用地域 global

方法と出典

方法:Kafka 4.0.2 Range/RoundRobin non-rack subset; E1900 sticky analogue v1.0 (2026-11-15)。データ記録日:2026-11-15。