Описание
Проект выполнен для одного из крупнейших банков мира по версии Forbes, который занимает первое место среди российских банков. Средняя годовая прибыль - 36,788 млрд рублей.
Проблематика
В процессе масштабного перехода на новую технологическую платформу, бизнес столкнулся с рядом серьезных проблем, которые могли негативно повлиять на его операционную деятельность:
- Сложности в процессе миграции витрин данных: переход с Oracle на Greenplum осложнился необходимостью сохранить целостность и точность данных при изменении технологической платформы.
- Нарушение текущих бизнес-процессов из-за импортозамещения: внедрение новой платформы требовало пересмотра и адаптации существующих бизнес-процессов, что могло затронуть ключевые операционные аспекты банка. Это включало риск задержек в обработке данных и снижении эффективности работы аналитических команд.
- Отсутствие бизнес-документации: многолетнее поэтапное построение хранилища данных привело к тому, что отсутствовала полная документация по процедурам формирования витрин данных. Это усложняло задачу переноса данных и процедур на новую платформу, увеличивая риск ошибок и потерь данных при миграции.
- Необходимость обеспечения высокой производительности и масштабируемости: банк ожидал, что новая платформа обеспечит улучшение производительности при работе с большими объемами данных и позволит масштабировать систему по мере роста бизнеса.
Особенности бизнеса
Банк сталкивается с высокими требованиями к безопасности данных, соблюдению регуляторных норм и необходимости обеспечения непрерывности бизнес-процессов. Обрабатывая огромные объемы данных в условиях сложной инфраструктуры нуждается в высокой производительности и масштабируемости систем, особенно в условиях жесткой конкуренции. Миграция данных требовала учета множества интеграций с внешними системами и сохранения целостности данных, чтобы минимизировать риски и обеспечить дальнейший рост и инновации.
Цель
Осуществить переезд аналитических витрин на новую технологическую базу - с Oracle на Greenplum.
Задачи
- Провести реверс-инжиниринг существующих процедур формирования витрин данных и перенос их на Greenplum.
- Выполнить мэпинг существующих полей, разобрав процедуру формирования итогового поля по цепочке таблиц до источника-лендинга.
- Реализовать схемы на новой платформ.
Что мы сделали
- Проанализировали и задокументировали логику работы существующих процедур формирования витрин данных.
- Перенесли процедуры на Greenplum, адаптировав их под новую среду выполнения.
- Выполнили детальный мэпинг полей, проследив процесс формирования итоговых полей от источника-лендинга через цепочку таблиц.
- Обеспечили соответствие между данными в Oracle и Greenplum, гарантируя точность переноса информации.
- Создали схемы баз данных на Greenplum, соответствующие структуре и требованиям аналитических витрин.
- Провели тестирование и оптимизацию схем для обеспечения высокой производительности и надежности системы.
Результат
В результате проведенной миграции данных банк не только успешно перешел на новую технологическую платформу, но и значительно улучшил производительность своих аналитических систем, что позволило ускорить обработку данных на 18%. Это укрепило позиции банка в условиях жесткой конкуренции, повысило надежность и стабильность бизнес-процессов, а также обеспечило полное соответствие регуляторным требованиям и стандартам безопасности.