Data Engineer (команда B2C-SQL)

Команда занимается развитием фреймворка разработки витрин данных. В команде объединены экспертизы по DE, Software Engineering, анализу и архитектуре, DevOps, Backend и Frontend разработке. Работаем по Scrum, ценим высокий профессионализм, культуру общения и проактивность. В центр компетенций по Data Engineering мы ищем коллегу - Data Engineer.

Обязанности

• разрабатывать и дорабатывать компоненты фреймворка для построения batch- и streaming-витрин


• реализовывать модули платформы (оркестрация, метаданные, Data Quality-фреймворк) на Scala/Java


• реализовывать и поддерживать API (включая RESTful), которые упрощают работу с данными для других команд


• участвовать в оптимизации производительности Spark-приложений на больших объемах данных


• покрывать код тестами и участвовать в code review


• взаимодействовать с пользователями платформы: разбирать обращения, помогать с интеграцией, собирать обратную связь.

Требования

• наличие высшего образования


• опыт коммерческой разработки в data engineering от 2-3 лет


• языки: уверенное знание Scala или Java, SQL; базовые навыки Bash


• Big Data: практический опыт разработки на Apache Spark


• данные: понимание DWH/Data Lake, ETL/ELT-процессов, SCD, подходов к Data Quality


• инжиниринг: понимание принципов SOLID и ООП, опыт написания unit- и integration-тестов, работа с Git


• умение самостоятельно доводить задачи до результата, аргументировать технические решения, работать в кросс-функциональной команде

Будет преимуществом:

• опыт с Kafka, Flink, Iceberg или аналогами


• опыт с Hadoop-экосистемой (HDFS, YARN, Hive)


• опыт с ClickHouse, Kubernetes, S3


• знание Python


• навыки работы с генеративными AI-моделями.

Условия

• офисный формат в Москве (ул.Поклонная, 3)


• ежегодный пересмотр зарплаты и годовая премия


• расширенный ДМС и льготное страхование для семьи


• уникальная система обучения Сбера для профессионального и карьерного развития


• выгодная ипотека для сотрудников


• подписка Прайм с возможностью совместного использования на трёх близких


• вознаграждение за рекомендацию друзей в команду Сбера


• корпоративная пенсионная программа.