О теме
Топик, партиция, consumer group, семантика доставки — лог, а не «очередь задач».
Лекции
Kafka
At-most, at-least, exactly-once
At-least-once — рабочая норма с дублями. Exactly-once в Kafka — идемпотентный продюсер и транзакции между топиками, а не «ровно один UPDATE в вашей Postgres». Граница системы важнее маркетингового EOS.
Kafka
Consumer group, rebalance и commit offset
Consumer group делит партиции: одну партицию в группе читает не больше одного консьюмера. Offset — курсор в логе. Commit после обработки даёт at-least-once: при крэше сообщение прочитают снова.
Kafka
Топик, партиция, ключ и порядок
Топик в Kafka — распределённый лог, разрезанный на партиции. Порядок гарантирован внутри партиции, а не по всему топику. Ключ продюсера выбирает партицию и тем самым порядок событий одной сущности.