Data Engineer

ВАМ ПРЕДСТОИТ:

• Проектирование и развитие Data Lakehouse на стеке S3 + Apache Iceberg: слои ODS → DDS → Data Marts;
• Разработка и оптимизация трансформаций на Trino + dbt: модели, тесты, инкрементальные стратегии, SCD2;
• Реализация DDS-слоя по методологии Business Data Vault (Hub / Link / Satellite);
• Проектирование и сопровождение data marts в ClickHouse для аналитических и BI-запросов;
• Разработка и поддержка DAG-ов в Apache Airflow: оркестрация пайплайнов, мониторинг, алертинг, retry-логика;
• Интеграция источников данных: Kafka CDC из 1С и PIM, REST API, файловые выгрузки;
• Обеспечение качества данных;
• Оптимизация производительности запросов Trino и ClickHouse: партиционирование, сортировка, materialized views;
• Участие в миграции существующих пайплайнов с текущего DWH (MSSQL Stage → DDS) на LakeHouse;
• Code review, документирование архитектурных решений.

МЫ ОЖИДАЕМ:

• Опыт в Data Engineering от 4 лет;
• Глубокое знание SQL, опыт оптимизации сложных аналитических запросов;
• Практический опыт работы с Apache Iceberg или Delta Lake в production;
• Опыт с Trino (Presto) или аналогичными MPP-движками (Spark SQL, Impala);
• Опыт с dbt: модели, макросы, тесты, инкрементальные стратегии, environments;
• Уверенное владение Apache Airflow: разработка DAG-ов, Sensors, Custom Operators, XCom, dynamic task mapping;
• Опыт с ClickHouse: проектирование таблиц, движки (MergeTree, ReplacingMergeTree), materialized views;
• Опыт работы с Kafka / Kafka Connect / CDC-потоками;
• Python на уровне написания production-кода (коннекторы, обработка данных, утилиты);
• Понимание Data Vault 2.0 / Business Data Vault как методологии моделирования DDS;
• Опыт работы с S3-совместимыми хранилищами (MinIO, AWS S3, Yandex Object Storage);
• Git, CI/CD для data-пайплайнов.

МЫ ПРЕДЛАГАЕМ:

• Оформление согласно ТК РФ в ИТ-компанию.
• График работы: 5/2 (9-18/10-19).
• Гибрид/полностью удаленная работа.
• Современный и комфортный офис, в шаговой доступности от м. Фили.
• Заботу о твоем здоровье (ДМС со стоматологией).
• Корпоративное обучение, скидки на изучение иностранного языка.
• Скидки на продукцию бренда.

LIMÉ - это компания сильных и успешных!