Старший инженер данных - Data Engineer (Middle)
По договоренности
- Немчиновка
- Баковка
«М.ТЕХ» - АККРЕДИТОВАННАЯ ИТ-КОМПАНИЯ В ГРУППЕ «М.ВИДЕО-ЭЛЬДОРАДО» разрабатывает более 100 инновационных ИТ-продуктов на основе современной микросервисной и облачной инфраструктуры, больших данных, биометрии, ИИ и машинного обучения для улучшения качества жизни десятков тысяч сотрудников и миллионов покупателей по всей России.
МЫ В ПОИСКЕ СТАРШЕГО ИНЖЕНЕРА ДАННЫХ
В молодую и амбициозную платформенную команду требуется старший DE, разработчик потоков данных. Разработка и поддержка инфраструктуры обработки данных: миграция с текущего стека (Greenplum + ClickHouse) на современный (Trino + Iceberg), оптимизация ETL процессов, обеспечение надёжности и производительности pipeline.
СТЕК: DataLakeHouse на базе Trino+Iceberg, Spark, SQL, Python.
ТЕБЕ ПРЕДСТОИТ:
-
Поддерживать и оптимизировать текущие ETLпроцессы на базе Greenplum и ClickHouse.
-
Проектировать и реализовывать миграцию данных и запросов с Greenplum на Trino, с ClickHouse — на Iceberg.
-
Разрабатывать и поддерживать пайплайны обработки данных (Airflow).
-
Обеспечивать качество данных: валидация, мониторинг, логирование.
-
Участвовать в проектировании Data Lake/Data Warehouse на основе Iceberg.
-
Автоматизировать рутинные операции (мониторинг, бэкапы, очистка).
ЧТО МЫ ОЖИДАЕМ ОТ КАНДИДАТА:
-
Опыт работы Data Engineer от 2 лет;
-
SQL продвинутый уровень: сложные запросы, оптимизация, работа с партициями, индексами;
-
Spark - опыт работы;
-
Python — уверенное владение (обработка данных, скрипты, API);
-
Trino / Iceberg / ClickHouse / Greenplum;
-
Airflow — разработка DAG, настройка исполнителей, мониторинг;
-
Git и процессы разработки (PR, ревью, ветвление).
ЧТО ТЫ ПОЛУЧИШЬ:
- Продукты, признанные на рынке (несколько премий за Лучший Интранет, хит-парад премий за лучшее ИТ-решение в ритейле) и имеющие амбициозные планы на развитие;
- Конструктивный диалог и возможность внедрять свои идеи, если они способствуют достижению общего результата;
- Команду увлеченных профессионалов, которая открыта к поиску нового;
- Конкурентную заработную плату, гибкое отношение к рабочему месту (посещение офиса в Москве на гибриде в Сколково, БЦ Орбион, но ты можешь работать удаленно);
- ДМС со стоматологией.
Опубликована 4 дня назад