if clickhouse commited and kafka errored, clickhouse will not commit twice + tests for this

dedup 10000 added to every db + tests for this

удален бинарник

offset пишется безопаснее, плохой json не блокирует всю партицию, ошибки разделены на временные и постоянные, плохая запись не блочит весь batch, убрана ручная сборка json, кафка партиции могут вставать на паузу, dlq информативнее

батч не подтверждается до подтверждения от clickhouse\dlq, ошибка clickhouse не приводит к batch.clear(), при ошибке возврат к началу batch, некорректный json не уничтожает остальные в batch, ошибка dlq не приводит к потере сообщения, есть retry с backoff, есть shutdown, есть flushh перед rebalance, метрики различают прочитанные и сохраненные записи

процессор теперь всегда возвращает ошибку, если с clickhouse что-то не так

удален бинарник

offset пишется безопаснее, плохой json не блокирует всю партицию, ошибки разделены на временные и постоянные, плохая запись не блочит весь batch, убрана ручная сборка json, кафка партиции могут вставать на паузу, dlq информативнее

батч не подтверждается до подтверждения от clickhouse\dlq, ошибка clickhouse не приводит к batch.clear(), при ошибке возврат к началу batch, некорректный json не уничтожает остальные в batch, ошибка dlq не приводит к потере сообщения, есть retry с backoff, есть shutdown, есть flushh перед rebalance, метрики различают прочитанные и сохраненные записи

процессор теперь всегда возвращает ошибку, если с clickhouse что-то не так