Создание единой платформы Data Research Platform (РСХБ-Интех)

ЗаказатьНаписать
Договорная цена
Итоговая стоимость аналогичной работы будет известна после размещения заказа и оценки автора

Описание
Спроектировал и реализовал единую аналитическую песочницу (DRP) на базе Greenplum от Arenadata для одного из крупнейших банков России. Проект объединил разрозненные источники данных (Oracle, MS SQL, хранилища, озеро данных) в единый кластер с централизованным управлением и стандартами загрузки. Разработал собственный ETL-фреймворк на базе Airflow и Python, обеспечивающий ежедневную загрузку и обновление более 2 500 объектов из трёх систем-источников за 1 час 40 минут. Мигрировал порядка 10 000 таблиц из различных источников при полном отсутствии документации. Разработал ролевую модель доступа и выделенные схемы для каждого бизнес-подразделения, реализовал интеграции с BI-платформой Visiology и платформой ИИ (RAISA). Все объекты описаны в бизнес-глоссарии и актуализированы на Confluence. Путь от разработки до внедрения с DevOps — 6 месяцев. Результат: единое место исследования и анализа данных для 500+ пользователей головного офиса банка, полный отказ от локальных песочниц, кратное ускорение доступа к данным для бизнеса. ​

Похожие работы других авторов
Прямой эфир