Обзор Debezium

В этом обзоре разберем как на практике подключить Debezium коннектор к Postgresql и заставит его работать в режиме логической репликации.

Забор данных по механизму CDC давно уже входит в стандарт обмена данных между шиной данных и СУБД. По этому механизму работают многие СУБД, в том числе и наш любимый PG. Начиная с 10 версии появилась логическая репликация. Старался поподробнее показать, что и в каком виде попадает в шину Kafka. Честно скажу, что удивило, что операция удаления выполняется за два сообщения. Пока не нашел логического объяснения. Ссылка на гит репозитарий.  https://github.com/biwed/dp--review)

План видео (ссылка на youtube https://youtu.be/NlBUSGSFtMQ)

00:00 Вступление
02:35 Обзор Docker compose файла
04:27 Настройка потоковой репликации на PG
07:48 Обзор и публикация конфигурации коннектора debezium , для работы с PG (в режиме логической реплики)
10:07 Обзор и публикация конфигурации sink коннектора debezium , для работы с PG.
15:03 Исследование сообщений в топике kafka. Как выполняется update, insert, delete, update, alter table.
23:53 Выводы по Debezium.

В целом вывод такой. Инструмент интересный, но как всегда есть нюансы. Без использования схем и правил преобразований типов, не очень то и пригоден для использования. Для правильной интеграции требуются потоковые механизмы, которые смогут правильно преобразовать типы и работать со схемой регестри. Для меня пока только это механизм, который что-то умеет. Как фундамент для платформы в принципе сгодится, так как каждое сообщение сопровождается схемы данных. Изменилась схема, вот тебе и тригер, что произошли операции с определениями таблицы.