Старший инженер данных

Вам предстоит:

• Погрузиться в процессы работы курьерской доставки

• Моделировать и контролировать качество доменных данных

• Участвовать в управлении командной инфраструктурой

• Создавать, управлять и оптимизировать пайплайны поставки данных, контролировать SLA, развивать мониторинг и алертинг, обрабатывать инциденты загрузки данных

• Документировать потоки данных

• Кросс-функциональная коллаборация с бизнес-, дата-аналитиками, разработчиками и т.д.

Мы ожидаем:

• Опыт в роли DE от 3 лет

• Высшее образование

• Высокий уровень владения python

• Экспертное владение sql (включая чтение плана запроса, оптимизацию запросов), понимание принципов работы БД

• Мастерское владение концептуальным, логическим и физическим моделированием для целей оптимизации производительности и масштабируемости

• Обширный опыт работы с распределенными фреймворками

• Опыт работы с оркестраторами пайплайнов

• Опыт создания с нуля и развития моделей данных

• Развитые коммуникативные навыки

Будет плюсом:

• Опыт внедрения/администрирования Apache Airflow

• Опыт с диалектами Postgresql, Clickhouse, Vertica, Trino

• Знание linux

• Опыт работы с Iceberg, S3, HDFS

• Опыт работы с GiS данными

• Опыт работы с потоковыми данными/очередями (Kafka, RabbitMQ и т.д.)