Платформа контроля качества данных в LM tech (Лемана ПРО).

Всем привет. Как-то неожиданно для себя, мне предстояло реализовать DQ решения в рамках большой компании. Честно говоря, я не интересовался этой темой вообще. Но иногда приходится браться за проекты, о которых даже не думаешь.

И так поехали. Начнем с постановки задачи.И так поехали. Начнем с постановки задачи.Нам требуется отвечать на вопрос о доверии к нашим данным, которые располагаются в хранилище со стороны пользователей. Для этого необходимо уметь правильно отвечать на вопросы, по сходимости данных (на сколько данные между источником и DWH расходятся) и каково их качество исходя из тестов. Ссылка на git (https://gitverse.ru/biwed/dp--review/content/main/dq_platfrom/dq_platform_01)

План видео (ссылка на rutube https://rutube.ru/video/2b813e41ee0777472694ae1a31af172e/ )

00:00 Вступление и обзор решения.
24:00 Практика
29:16 Demo


Выводы