Перенос витрин из GP в ClickHouse.
Как я уже отмечал, что есть слабые стороны у GP, которые выражаются в слабом мастере, что делает не всегда возможным использовать многие BI инструменты. ClickHouse как раз на много лучше держит BI нагрузку.
И так поехали. Начнем с постановки задачи. Пусть к примеру у нас есть уже зрелое хранилище на GP, в которе уже заехало большое количество данных. Аналитики уже научились писать запросы, появилась нормальная экспертиза по GP. Требование обеспечить визуализацию, причем на лету. Тут приходи на помощь как раз ClickHouse с его невероятной скоростью работы. Почему решение стало возможным. В ClickHouse добавили нормальное удаление данных начиная с 23 версии. Для переноса витрин используем связку GP->S3-> ClickHouse. Ссылка на git (https:/github.com/biwed/dp--gp-transfer-sql-clickhouse)
План видео (ссылка на youtube https://youtu.be/dey55MKv6-U)
00:00 Вступление и обзор решения.
06:01 Практика
33:13 Выводы
В заключение хочу отметить, что это получился уже дата продукт, который можно использовать в своих командах. Только значительно протестировав функционал и поняв как он работает под капотом, можно применять этот продукт в боевых условиях.
- Подробности
- Опубликовано: 07 Июль 2023
- Просмотров: 886