Дата-инженер на платформу данных

Что нужно будет делать на проекте
Принимать участие в разработке корпоративной модели данных

Стек: SQL, Python, Hadoop, Apache Airflow, Power BI, Tableau, Oracle

Обязанности:

• Разработка и поддержка ETL-процессов (batch и stream) для Lakehouse-платформы на базе S3
• Интеграция данных из разнородных источников: Kafka, CDC (Change Data Capture), реляционных СУБД, REST API
• Проектирование и реализация витрин данных для блока управления рисками, включая: Аналитику кредитного портфеля (винтажный анализ, NPL-мониторинг) Метрики качества портфеля
• Разработка архитектуры хранения данных для скоринга, логов и результатов скоринга
• Проектирование и внедрение системы Data Quality: автоматизированные проверки, алерты, SLA-мониторинг
• Создание аналитических дашбордов и self-service отчетности для стейкхолдеров
• Кросс-функциональное взаимодействие с архитекторами данных, аналитиками, QA и DevOps-командой
• Менторинг junior-специалистов: code review, knowledge sharing, онбординг

Требования:

• Опыт в Big Data от 2+ лет (Lakehouse, Hadoop)
• Глубокое знание SQL, оптимизация запросов в MPP движках
• Знание Java/Scala/Python на высоком уровне
• Понимание принципов работы Spark
• Практический опыт работы с потоковыми ETL-инструментами (NiFi, Flink, Kafka Connect)
• Опыт построения интерактивных дашбордов и аналитических отчетов в BI-системах (Power BI, Tableau) Будет плюсом:
• Понимание процесса разработки процессоров NiFi на Python/Java
• Опыт разработки на PL/SQL и оптимизации сложных SQL-запросов в среде Oracle
• Опыт использования CDC инструментов (Debezium, Flink CDC) c Oracle/MS SQL/Postgres

Условия:

• Работу в аккредитованной ИТ компании с возможность карьерного и профессионального роста
• Атмосферу профессионального развития, вдохновленную принципами Agile.
• У нас самый уникальный портфель бенефитов по программе софинансирования (ДМС со стоматологией, фитнес, школа ин. языков на выбор, скидки на коробочные продукты банка и партнеров).
• Мы поможем развить вашу проф. экспертизу: оплатим профессиональные тренинги и внешние образовательные курсы, участвуем в ИТ активностях (митапы, хакатоны, юконы).
• Вовлеченность, комфорт, свобода, минимум бюрократии, нет дресс-кода, гибкое начало и завершение рабочего дня, приходи – с нами будет интересно!