Home
Работа с циклами и множественное чтение (Урок 3)
В PDI часто приходится сталкиваться с обработкой множества файлов. Есть несколько способов решить эту задачу на PDI. В этом уроке разберем подробно, как организуются циклы и делается множественное чтение. Цель показать, как можно реализовать, а не как сделать наиболее эффективно.
Сегодня множество статистических данных представляет набор данных, разбитых на файлы.В данном уроке рассмотрим основные строительные блоки ETL процессов - это трансформации и задания. PDI поддерживает три главных возможности:
- Множественное чтение
- Простые циклы в трансформации
- Циклы с использованием job
Ссылка на github, которая содержит трансформации и задания в этом уроке.
План видео (ссылка на youtube https://youtu.be/R67OxP2r4l8)
00:00 Обзор решения
00:00 Обзор решения
01:05 Множественное чтение
03:30 Простейшие циклы
06:56 Циклы
07:45 Циклы практика
Циклы и использованием job, позволяет более гибко реагировать на входящие данные и обрабатывать ошибки возникающие в процессе чтения. Важно помнить, мы читаем не только чистые данные. Второй момент нужно определиться, что мы делаем с файлами, которые содержат неправильные данные и как не допустить частичной записи данных, содержащих ошибки.
- Подробности
- Опубликовано: 19 Апрель 2019
- Просмотров: 2135