Senior ETL/DWH Developer

Мы ищем Senior ETL/DWH разработчика в команду Data Infrastructure в направление Marketing.

Задачи:

• Разработка и оптимизация архитектуры Хранилища данных, проектирование слоев данных;
• Создание, поддержка и оптимизация высоконагруженных ETL-процессов;
  Интеграция данных из внутренних/внешних источников (API, файловые хранилища, БД);
• Работа с BigData и стримингом;
• Коммуникация с бизнес-аналитиками и формализация требований, дата-инженерами и архитекторами;
• Проведение код ревью и шеринг экспертизы с коллегами(проведение митапов, техническая консультация).

Для этого тебе понадобится:

• От 4 лет опыта в разработке и поддержке хранилищ данных;
• Глубокие знания и практический опыт работы с Hadoop (HDFS, Hive, Spark);
• Отличные знания SQL, опыт оптимизации сложных запросов и работы с большими объёмами данных;
• Опыт проектирования и разработки ETL-процессов;
• Опыт разработки real-time и near real-time pipeline’ов обработки/загрузки данных;
• Опыт работы с Airflow и Docker;
• Опыт работы с GIT;
• Уверенные знания Python;
• Уровень разговорного английского языка не ниже B1.

Будет плюсом:

• Настройка систем мониторинга процессов ETL;
• Знание основ Data Governance и compliance (GDPR);
• Опыт работы с DBT.