Data engineer

По договоренности

Твои задачи:

Анализ источников данных в легаси БД MSSQL: сбор информации о наполнении, выявление ключевых бизнес-сущностей и зависимостей, регламентных операций
Проектирование и оптимизация потоков переноса данных из MSSQL в новое хранилище
Разработка и поддержка моделей данных и трансформации в DBT для формирования конечных витрин
Организация и автоматизация процессов оркестрации с Airflow
Обеспечение качества, тестирование данных и их целостности при миграции и трансформации
Внедрение и сопровождение процессов инкрементальной загрузки и оптимизации производительности
Работа с потоками данных и интеграция с Kafka

Мы ждем от тебя:

Опыт работы с Python, S3, Kafka, Postgres, MSSQL, MongoDB, Clickhouse, Git, Docker
Понимание принципов нормализации и денормализации, владение методологией Data Vault и другими подходами к моделированию
Способность проектировать и создавать модели данных, адаптированные для аналитических задач и эффективной работы DWH
Опыт создание и поддержки ETL/ELT-конвейеров данных
Опыт документирования моделей данных и поддержания их совместимости с процессами ETL/ELT и бизнес-метриками
Умение создавать модели данных и преобразования с помощью DBT
Опыт оркестрации процессов с помощью Apache Airflow, настройка DAG, автоматизация и мониторинг ETL задач

Что мы обеспечим:

Крупный проект, который даст возможности развития
Экспертную, сплоченную команду и возможности развития
Гибридный или удаленный формат работы на выбор
Предоставление корпоративной техники
Сессии профессионального развития 2 раза в год, результатом которой является план индивидуального развития каждого сотрудника и получение обратной связи
Сообщества по интересам: Лига Спорта, Лига Performance, Лига Интеллекта и др., а также возможность организовать свое сообщество и получить поддержку от компании

Опубликована 2 дня назад