PDI работа с Kafka (Урок 7)
Для обмена между системами приходится задействовать универсальную и очень производительную шину такую как Kafka.
PDI имеет плагины, которые могут писать и читать данные из Kafka. Как это происходит можно узнать в видео. Есть множество нюансов при чтении данных из Kafka. Бонусом в уроке рассмотрим интеграцию с PDI + KAFKA + ClickHouse.PDI имеет плагины, которые могут писать и читать данные из Kafka. Как это происходит можно узнать в видео. Есть множество нюансов при чтении данных из Kafka. Бонусом в уроке рассмотрим интеграцию с PDI + KAFKA + ClickHouse.
Ссылка на github, которая содержит трансформации и задания в этом уроке.
План видео (ссылка на youtube https://youtu.be/3oJN-uQ9wtI)
00:00 Обзор решения
04:32 Запись данных в Kafka
10:29 Чтение данных из Kafka теория
17:00 Чтение с батчевым коммитом
24:55 Чтение со строчным коммитом
28:57 Остановка стриминга по времени
34:01 Kafka + Clickhouse
37:35 Выводы
Я рад, что удалось записать еще один ролик, который помогает моей команде разработки делиться знаниями и применять на практике.
- Подробности
- Опубликовано: 25 Январь 2021
- Просмотров: 553