PDI
Закат ETL
Стоит признать, что на смену ETL стремительным образом идет ELT подход.
- Подробности
- Опубликовано: 20 Сентябрь 2021
- Просмотров: 975
Необходимый Linux pipe для PDI (Урок 8)
Не всегда имеются нужные расширения для интеграции с PDI. В этом уроке рассмотрим Linux pipe, который позволяет хорошо интегрироваться с консольными утилитами.
- Подробности
- Опубликовано: 08 Июнь 2021
- Просмотров: 1316
PDI работа с Kafka (Урок 7)
Для обмена между системами приходится задействовать универсальную и очень производительную шину такую как Kafka.
- Подробности
- Опубликовано: 25 Январь 2021
- Просмотров: 1309
PDI работа с JSON (Урок 6)
В PDI приходится использовать разбор json и преобразовать в строки, для вставки в СУБД. В видео мы рассмотрим как примеры быстрой обработки данных. Цель видео как раз показать возможности оптимизировать работу с JSON и показать как при помощи самописных классов можно производить разбор JSON на лету.В PDI приходится использовать разбор json и преобразовать в строки, для вставки в СУБД. В видео мы рассмотрим как примеры быстрой обработки данных. Цель видео как раз показать возможности оптимизировать работу с JSON и показать как при помощи самописных классов можно производить разбор JSON на лету.
- Подробности
- Опубликовано: 13 Октябрь 2020
- Просмотров: 1267
PDI Переменные и параметры (Урок 5)
В PDI часто использовать переменные и параметры. В видео мы рассмотрим как инициализируют переменные и переопределяется неявным образом действие переменных на job.
- Подробности
- Опубликовано: 08 Сентябрь 2020
- Просмотров: 1353
Оптимизация PDI параллельными степами (Урок 4)
В PDI часто приходится оптимизировать ETL процессы. Оптимизации можно провести по клику мыши, увеличив количество параллельно запущенных степов. В этом подходе, надо понимать как этого добиться и не допустить ошибок и задвоения данных.
- Подробности
- Опубликовано: 30 Июнь 2020
- Просмотров: 1201
Работа с циклами и множественное чтение (Урок 3)
В PDI часто приходится сталкиваться с обработкой множества файлов. Есть несколько способов решить эту задачу на PDI. В этом уроке разберем подробно, как организуются циклы и делается множественное чтение. Цель показать, как можно реализовать, а не как сделать наиболее эффективно.
- Подробности
- Опубликовано: 19 Апрель 2019
- Просмотров: 2628
Трансформации и задания (Урок 2)
В данном уроке рассмотрим основные строительные блоки ETL процессов - это трансформации и задания.
- Подробности
- Опубликовано: 10 Апрель 2019
- Просмотров: 1622