Марк Брызгалов

Platform Owner Data Lake(Big Data)

Технологии / Интернет

Babushkin, Москва

О Марк Брызгалов:

Руковожу платформой больших данных в одном из крупнейших коммерческих банков России.

Опыт

Начальник отдела развития платформы Data Lake/Platform owner

В роли PO Data Lake занимаюсь разработкой стратегии платформы Big Data, коммуницирую с заказчиками, собираю обратную связь от пользователей платформы для формирования роуд мапа, участвую в закупке оборудования для масштабирования, увеличения срока дожития платформы, руковожу командой.

Отвечаю за:
Стабильность - Digital support конвейер (мониторинг, логирование, механизмы autorecovery, DRP).
Результат: Stability - 94%->99.92%. Max down time 3d -> 0.

Сокращение Time to market(to new data) - реализация инициативы full data ready sources, разработку self-service platfrom ETL-generator для работы с Data Lake, проработка и пилотирование инструментов кросс-кластерной oline репликации данных.
Результат: TTM 30-40d -> 5md.

Клиентоориентированность и удобство использования - Внедрение концепции "Цифровая платформа" Data Lake as a Service. Прозрачность работы, совершенствование клиентского опыта, развитие DS и DE комьюнити.
Результат: VOC 3.8 -> 4.5+, SLA по инцидентам 90%->98%

Data cost - Сбор статистики по потреблению ресурсов, оптимизация способов и средств хранения данных, прогнозирование, удовлетворение агрессивного роста потребления ресурсов.
Результат: высвобождение до 30% дискового пространства при переходе на ORC, масштабирование total capacity за счет замены дисков на более емкие + закупка новых нод.

Качество данных (Data Quality) - Разработка автоматизированных механизмов ККД с алертингами, автоматическое заведение и решение типовых инцидентов, мониторинг регламентных процессов, логирование процесса расчетов.
Результат: Качество данных по всем метрикам 90%->98%.