PDI работа с JSON (Урок 6)
В PDI приходится использовать разбор json и преобразовать в строки, для вставки в СУБД. В видео мы рассмотрим как примеры быстрой обработки данных. Цель видео как раз показать возможности оптимизировать работу с JSON и показать как при помощи самописных классов можно производить разбор JSON на лету.В PDI приходится использовать разбор json и преобразовать в строки, для вставки в СУБД. В видео мы рассмотрим как примеры быстрой обработки данных. Цель видео как раз показать возможности оптимизировать работу с JSON и показать как при помощи самописных классов можно производить разбор JSON на лету.
Работа с JSON открывает очень большие возможности для построения ETL процессов:
- Использование в качестве универсальной упаковки строки в ячейку, для передачи информации (row to json) и обратно (json to row).
- Использовать для обмена через универсальную шину kafka.
- ...
Перечислять можно много. Подробнее в видео.
Ссылка на github, которая содержит трансформации и задания в этом уроке.
План видео (ссылка на youtube https://youtu.be/3oJN-uQ9wtI)
00:00 Обзор решения
00:32 Использование JSON в СУБД
04:45 Преобразования Row в JSON
11:48 Преобразования JSON в Row
17:00 Разбор вложенных JSON
20:00 JSON agg преобразования
22:50 Проектирование вложенных JSON
24:39 Выводы
Могу заметить, что JSON очень популярный стандарт хранения и передачи данных и теперь его можно действительно быстро обрабатывать.
- Подробности
- Опубликовано: 13 Октябрь 2020
- Просмотров: 699