В PDI часто приходится оптимизировать ETL процессы. Оптимизации можно провести по клику мыши, увеличив количество параллельно запущенных степов. В этом подходе, надо понимать как этого добиться и не допустить ошибок и задвоения данных.
На PDI разберем:
Ссылка на github, которая содержит трансформации и задания в этом уроке.
План видео (ссылка на youtube https://youtu.be/ZeFpbRz6rkI)
00:00 Обзор решения
01:08 Параллельное чтение
09:26 Параллельное чтение из БД
14:51 Ускорение сортировки
17:30 Параллельная запись в БД
20:23 Выводы
Технологии рассмотренные в уроке, помогут вам понять пути значительного ускорения ETL процессов в вашей компании.