Tech Lead Data engineer

Мы передовое ИТ подразделение, создающее дата платформу на сотни петобайт данных для крупшейшего юнита банка

Нами реализована загрузка, обработка и контроль качества разрозненных данных из сотен систем-источников банка в единое хранилище в Data Lakehouse архитектуре на платформе Hadoop.

Ищем сильных и энергичных дата инженеров для развития нашей платформы в сторону обработки данных в режимах батчевой и потоковой загрузки.

Вы будете работать в сильной команде дата инженеров с сложными инженерными задачами, передовым стеком технологий и самыми большими объемами данных в Европе

Задачи разработки и поддержки витрин данных в Hadoop (HDFS, Icberg, Hive), ETL - Spark, CTL - Oozie, CI/CD - Jenkins + BitBucket.

языки - Python, Java, Scala.

Обязанности

• разработка DWH/DataLake/LakeHouse
• построение поставки данных в Batch
• оптимизация ETL
• разработка и валидация архитектуры данных
• people management – планирование релизов, ресурсов команды
• обеспечение надежности промышленных ETL потоков.

Требования

• отличное знание SQL (join, CTE, оконные функции, фреймы и др.)
• опыт работы с Hadoop, Spark, Iceberg
• опыт работы с оркестраторами (например, Airflow) и CI/CD
• опыт построения архитектуры данных (например, Data Vault, Инман, Кимбалл и др.)
• опыт кратной оптимизации spark приложений
• практический опыт разработки solution-архитектуры data-продуктов
• практическое знание python на уровне разработки ETL будет преимуществом
• практическое знание java/scala будет преимуществом
• практический опыт создания и защиты архитектуры данных будет преимуществом
• навыки работы с генеративными AI-моделями, опыт использования GigaChat, Kandinsky и аналогов в продуктах
• навыки создания и использования AI-агентов инструментальное владение AI для анализа, генерации и автоматизации.

Условия

• ежегодный пересмотр зарплаты и годовая премия
• расширенный ДМС и льготное страхование для семьи
• уникальная система обучения Сбера для профессионального и карьерного развития
• выгодная ипотека для сотрудников
• подписка Прайм с возможностью совместного использования на трёх близких
• вознаграждение за рекомендацию друзей в команду Сбера
• корпоративная пенсионная программа.