Необходимый Linux pipe для PDI (Урок 8)
Не всегда имеются нужные расширения для интеграции с PDI. В этом уроке рассмотрим Linux pipe, который позволяет хорошо интегрироваться с консольными утилитами.
В бесплатной версии остаются многие вопросы как взаимодействовать с S3 и прочими системами, для которых есть консольные утилиты. На помощь приходит действительно простая технология pipe, которая эффективно позволяет организовать взаимодействие с консольными утилитами. Получается очень быстро и эффективно. Как обычно все подробности в видео.
Ссылка на github, которая содержит трансформации и задания в этом уроке.
План видео (ссылка на youtube https://youtu.be/DGpLjZC8mR0)
00:00 Обзор решения
03:20 Демонстрация работы в терминале
05:18 Запись и чтение в pipe на PDI.
10:03 Увеличение скорости записи в clickhouse
17:38 Интеграция с s3 minio
21:24 Выводы
Я рад, что удалось записать еще один ролик, который позволил расширить понимание как можно эффективно сделать интеграцию с консольными утилитами.
- Подробности
- Опубликовано: 08 Июнь 2021
- Просмотров: 465