Оптимизация PDI параллельными степами (Урок 4)
В PDI часто приходится оптимизировать ETL процессы. Оптимизации можно провести по клику мыши, увеличив количество параллельно запущенных степов. В этом подходе, надо понимать как этого добиться и не допустить ошибок и задвоения данных.
На PDI разберем:
- Оптимизацию чтения
- Параллельное чтение из БД
- Параллельную запись в БД
- Ускорение сортировки.
Ссылка на github, которая содержит трансформации и задания в этом уроке.
План видео (ссылка на youtube https://youtu.be/ZeFpbRz6rkI)
00:00 Обзор решения
01:08 Параллельное чтение
09:26 Параллельное чтение из БД
14:51 Ускорение сортировки
17:30 Параллельная запись в БД
20:23 Выводы
Технологии рассмотренные в уроке, помогут вам понять пути значительного ускорения ETL процессов в вашей компании.
- Подробности
- Опубликовано: 30 Июнь 2020
- Просмотров: 709