Data Engineer

Проектирование и построение архитектуры дата-платформы «с нуля»: слои данных стратегии обработки исторических изменений, медленно меняющиеся измерения;

Разработка отказоустойчивых пайплайнов в Airflow: модульная структура, обработка частичных сбоев, параметризация, обеспечение идемпотентности;

Построение системы качества данных: ожидания в dbt, профилирование, мониторинг аномалий, алертинг на отклонения;

Оптимизация трансформаций под особенности PostgreSQL и ClickHouse (движки таблиц, агрегации, материализованные представления);

Настройка интеграций с источниками через API: анализ структуры данных, проектирование схем выгрузки, обработка changelog;

Управление данными в объектном хранилище MinIO: структура каталогов, политики доступа, инкрементальные загрузки;

Формирование стандартов и практик: соглашения по именованию, структуре репозитория, подходам к тестированию и документированию;

Опыт проектирования и развёртывания дата-платформ от 3 лет;

Опыт проектов «с нуля» до production;

Глубокое понимание архитектурных паттернов: слойность, нормализация vs. денормализация, обработка исторических данных;

Экспертное владение SQL с учётом специфики движков (ClickHouse MergeTree, PostgreSQL);

Практический опыт с оркестрацией (Airflow): проектирование сложных DAG-ов, обработка ошибок, динамическая генерация задач;

Опыт построения систем качества данных и наблюдаемости пайплайнов (мониторинг выполнения, логирование ключевых событий);

Уверенная работа в Linux-среде: анализ логов, отладка пайплайнов, работа с файловой системой;

Умение исследовать новые системы и проектировать интеграции без готовых коннекторов;

Опыт с инструментами интеграции для ускорения подключения источников;