Описание
Спроектировал и реализовал единую аналитическую песочницу (DRP) на базе Greenplum от Arenadata для одного из крупнейших банков России. Проект объединил разрозненные источники данных (Oracle, MS SQL, хранилища, озеро данных) в единый кластер с централизованным управлением и стандартами загрузки. Разработал собственный ETL-фреймворк на базе Airflow и Python, обеспечивающий ежедневную загрузку и обновление более 2 500 объектов из трёх систем-источников за 1 час 40 минут. Мигрировал порядка 10 000 таблиц из различных источников при полном отсутствии документации. Разработал ролевую модель доступа и выделенные схемы для каждого бизнес-подразделения, реализовал интеграции с BI-платформой Visiology и платформой ИИ (RAISA). Все объекты описаны в бизнес-глоссарии и актуализированы на Confluence. Путь от разработки до внедрения с DevOps — 6 месяцев. Результат: единое место исследования и анализа данных для 500+ пользователей головного офиса банка, полный отказ от локальных песочниц, кратное ускорение доступа к данным для бизнеса.