Data инженер ( со знанием Scala)
По договоренности
Наша команда создает ключевой продукт для аналитики Сбера — Прикладную аналитическую платформу B2C. Мы помогаем сотням команд внутри экосистемы быстро создавать надежные аналитические витрины на Облаке Данных, чтобы глубже понимать клиентские пути и формировать персонализированные предложения.
Мы ищем Senior Data Engineer, который будет напрямую влиять на архитектуру и развитие этого стратегического инструмента. Вы будете создавать решения, которыми ежедневно пользуются десятки аналитиков и дата-инженеров.
Обязанности
- участвовать в проектировании и развитии архитектуры фреймворка для построения batch- и streaming-витрин.
- разрабатывать ядро платформы и ее компоненты (оркестрация, метаданные, Data Quality-фреймворк) на Scala/Java.
- создавать и оптимизировать абстракции и API (включая RESTful), которые упростят работу с данными для других команд.
- проводить производительность и масштабируемость платформы на больших объемах данных (петабайты).
- тесно взаимодействовать с пользователями платформы (аналитиками, дата-инженерами из бизнес-команд) для сбора требований и обратной связи.
- менторить младших разработчиков.
Требования
- глубокое знание Scala или Java, SQL, Bash.
- опыт с Apache Spark (обязательно). Опыт с Flink, Kafka, Iceberg или аналогичными
- понимание DWH/Data Lake, ETL/ELT-процессов, SCD, Data Quality
- опыт проектирования отказоустойчивых и масштабируемых систем, понимание SOLID, опыт написания тестов (unit, integration)
- опыт кросс-функционального взаимодействия, принятия архитектурных решений, наставничества
будет преимуществом (желательные навыки):
- опыт с Hadoop-экосистемой (HDFS, YARN, Hive)
- знание Trino/Velox
- опыт работы с микросервисной архитектурой и REST API
- опыт с ClickHouse, Kubernetes, S3
- знание Python.
Условия
- работа в офисе по адресу г. Москва, Кутузовский проспект 32к1
- годовой бонус и ежегодный пересмотр
- расширенный ДМС с первого дня + стоматология и льготное страхование для семьи
- корпоративный университет Сбера, внутренняя образовательная платформа, участие в IT-конференциях
- офис на Кутузовском проспекте 32 с видом на набережную, зонами отдыха и спортзалом
- льготная ипотека в Сбере, корпоративная пенсионная программа, подписка СберПрайм+, скидки от партнеров и сервисов группы компаний.
Опубликована 7 дней назад
Похожие вакансии
от 110 000 ₽
Обязанности: - Участие в подготовке технической документации и исполнительных схем; - Участие в решении технических вопросов на объекте; - Осуществление в составе группы профилактические, ремонтные, строительно- монтажные работы, в соответствии с пра...
- Полный день
- Опыт от 3 лет
- Москва
11 часов назад
от 150 000 ₽
Обязанности: • Разработка конструктива установки опалубочных систем по техническому заданию • Проектирование форм съемной опалубки • Разработка технического задания для собственного производства • Разработка по шаблону методики по монтажу • Ведение а...
- Полный день
- Опыт от 3 лет
- Москва
12 часов назад
АО "Навигатор" - это уникальные люди, которые объединились в профессиональную команду единомышленников. С 1992 года наша компания разрабатывает и производит бортовое радиоэлектронное оборудование, реализующее требования навигации и посадки, а также м...
- Полный день
- Опыт от 3 лет
- Москва
3 дня назад
от 100 000 ₽
Обязанности: Проведение радиологических исследований, измерение параметров рентгеновских аппаратов, контроль защитных свойств средств защиты от ионизирующего излучения, дозиметрический контроль помещений, зданий и сооружений, территорий и участков за...
- Полный день
- Опыт от 3 лет
- Москва
11 часов назад
Пассажирский транспорт", входящее в состав АО ТМХ, приглашает на работу в Управление деповского хозяйства Инженера-сметчика ...
- Полный день
- Опыт от 3 лет
- Москва
12 часов назад
140 000 ₽
Сервисный инженер Вы — мастер своего дела и готовы решать сложные задачи? Тогда мы ищем именно вас!
- Полный день
- Опыт от 3 лет
- Москва
11 часов назад
Вакансия в подборках
Похожие вакансии
от 110 000 ₽
от 150 000 ₽
от 100 000 ₽