Data Engineer (Spark)

Команда ETL Performance обладает ключевой экспертизой в области производительности ETL процессов в компании и занимается системным подходом к улучшению метрик процессов регулярного обновления данных, отвечает за эффективную утилизацию ресурсов платформы работой ETL, выработку лучших практик в технологиях целевого стека - Spark + Iceberg/S3 и их трансляцию

Требования:

• Глубокое понимание архитектуры хранилищ данных (DWH) и озер данных (DLH)
• Промышленный опыт реализации ETL процессов
• Глубокое понимание принципов распределенных данных и вычислений
• Аналитический склад ума
• Опыт анализа данных и знание статистики
• Знание Spark на выском уровне
  
  Обязанности:
• Анализ работы существующих Spark процессов, поиск проблемных мест, рекоммендации по улучшению
• Выработка и документирования лучших практик для Iceberg + Spark для сообщества Data Engineer-ов
• Развитие алгоритма выделения ресурсов для ETL процессов на Spark
• Поиск и реализация стратегических мер для улучшения производительности ETL процессов на Spark