Data Engineer

Мы создаём новую систему сбора и обработки данных систем ЦОД — от серверов и платформ виртуализаций до систем резервного копирования.
Проект строится с нуля на базе современного open-source стека: Airflow 3, Python, dbt, Trino, PostgreSQL, S3, Apache Iceberg.
Цель — заменить унаследованное решение на гибкую, управляемую и прозрачную data-инфраструктуру в составе DLH (параллельно с классическим DWH), которая станет единым источником данных для всей компании.

Чем предстоит заниматься:

• Участвовать в проектировании архитектуры и паттернов ELT-платформы (возможность разработать именно платформенное решение);
• Разрабатывать кастомные операторы и пайплайны на Airflow + Python для сбора данных из различных источников (API, SDK, Windows/Linux);
• Формировать модели данных и витрины Raw → Core → Mart в PostgreSQL, S3 (Iceberg), Clickhouse с использованием dbt;
• Подключать источники и витрины к Trino, оптимизировать SQL-запросы, настраивать кэширование;
• Автоматизировать тестирование и выстраивать CI/CD пайплайны (GitLab, dbt tests, Airflow DAG validation);
• Следить за качеством данных и стабильностью пайплайнов (data-quality, observability, lineage), участвовать в код-ревью и аудите пайплайнов;
• Влиять на архитектуру, стандарты и инженерную культуру проекта и Data Lakehouse.

• Мыслит системно;
• Готов разбираться в продуктах, выступающих источниками данных;
• Знает основы Python и имеет опыт разработки различных скриптов, DAGов;
• Уверенно владеет SQL и понимает, как строить эффективные запросы и модели данных;
• Работал с Airflow, dbt или аналогами (Dagster, Prefect, Luigi), git;
• Понимает, как строятся дата-пайплайны;
• Знает, как работает REST API и умеет собирать данные из разных систем источников;
• Ценит reproducibility, code review и CI/CD в работе с данными;
• Готов развивать продукт и развиваться сам.

Будет плюсом:

• Опыт сбора данных из систем виртуализации (VMware, OpenStack, Proxmox, Basis), систем резервного копирования.
• Знание подходов Data Vault 2.0, SCD2.
• Навыки работы с Docker, GitLab CI/CD, Linux.
• Опыт работы с NiFi, Prefect или Kafka как ingestion-шиной.
• Участие в проектах по миграции с легаси-ETL на open-source стеки.
• Опыт работы в ЦОД.

• Открытость и воспроизводимость: всё описано в коде, все пайплайны versioned и тестируются;

• Инженерная культура: меньше “нажимания кнопок”, больше осознанного проектирования;

• Автоматизация и элегантность: делаем сложно — просто;

• Data as a Product: данные рассматриваются как актив, а не побочный продукт систем;

• Участие в архитектурно значимом проекте, который реально идёт в продакшн;

• Возможность влиять на стек и решения — от формата данных до CI/CD-подходов.

• Официальное трудоустройство по ТК РФ (Аккредитованная IT-компания);
• Оклад + ежеквартальные премии;
• Удаленный или гибридный формат работы;
• Социальный пакет (ДМС, оплата мобильной связи);
• Корпоративная программа лояльности (профессиональное обучение, фитнес-активности, обучение языкам, подписка Wink и многое др.).