Я случайно увеличил раздел до темы __consumer_offets в Kafka (была версия 2.4, теперь 3.6.1)
Теперь, когда я перечисляю группы потребителей с помощью Kafka CLI, я получаю список потребителей, которые я не могу удалить
Команда List
Команда Delete
После этого инцидента нам посоветовали изменить имена всех наших групп потребителей, чтобы были созданы новые группы потребителей, и мы не потеряли данные и не столкнулись с непостоянством. Мы так и сделали, и все вернулось к норме.
Но у нас все еще есть множество групп потребителей, которые мы не можем удалить из списка, вероятно, из-за этого увеличения раздела __consumer_offsets.
Это производственный кластер, поэтому его отключение невозможно.
Мы хотели бы удалить их, не мешая производителям и потребителям этого кластера. Возможно ли это? Или мы застряли с ними навсегда?
kafka-consumer-groups --bootstrap-server kafka:9092 --list | grep -i queuing.production.57397fa8-2e72-4274-9cbe-cd42f4d63ed7
kafka-consumer-groups --bootstrap-server kafka:9092 --delete --group queuing.production.57397fa8-2e72-4274-9cbe-cd42f4d63ed7
Error: Deletion of some consumer groups failed:
* Group 'queuing.production.57397fa8-2e72-4274-9cbe-cd42f4d63ed7' could not be deleted due to: java.util.concurrent.ExecutionException: org.apache.kafka.common.errors.GroupIdNotFoundException: The group id does not exist.