Data Engineer (Spark)
По договоренности
Команда ETL Performance обладает ключевой экспертизой в области производительности ETL процессов в компании и занимается системным подходом к улучшению метрик процессов регулярного обновления данных, отвечает за эффективную утилизацию ресурсов платформы работой ETL, выработку лучших практик в технологиях целевого стека - Spark + Iceberg/S3 и их трансляцию
Требования:
- Глубокое понимание архитектуры хранилищ данных (DWH) и озер данных (DLH)
- Промышленный опыт реализации ETL процессов
- Глубокое понимание принципов распределенных данных и вычислений
- Аналитический склад ума
- Опыт анализа данных и знание статистики
- Знание Spark на выском уровне
Обязанности: - Анализ работы существующих Spark процессов, поиск проблемных мест, рекоммендации по улучшению
- Выработка и документирования лучших практик для Iceberg + Spark для сообщества Data Engineer-ов
- Развитие алгоритма выделения ресурсов для ETL процессов на Spark
- Поиск и реализация стратегических мер для улучшения производительности ETL процессов на Spark
Адрес: Россия, Москва, улица Грузинский Вал, 7
Опубликована 10 часов назад
Похожие вакансии
Требования умение проектировать DWH, Data Lake, Data Management Platform опыт построения и развития высоконагруженных ...
- Полный день
- Опыт от 3 лет
СБЕР- Москва
3 дня назад
В связи с активным развитием проектов в компании открыта вакансия DATA ENGINEER в офис в Москве.
- Полный день
- Опыт от 3 лет
ИЦ АЙ-ТЕКО- Москва
4 дня назад
Наши основные направления: • Validation & Metrics — инструменты валидации и замера моделей • Data ... Engineering — пайплайны чистки и синтеза данных • Code & Technical Data — генерация кодовых/технических ...
- Полный день
- Опыт от 3 лет
СБЕР- Москва
10 часов назад
... основная часть которых представляет собой разработку развлекательных онлайн-сервисов, находится в поиске Data ... Engineer!
- Полный день
- Опыт от 3 лет
Employcity- Москва
3 дня назад
до 150 000 ₽
В связи с активным развитием внутренних проектов в компании открыта вакансия Middle Data Engineer СТРОГО ... Требования: - Опыт работы в роли data engineer ≈ 3 года; - Опыт работы со всеми указанными инструментами ... Engineer (кимбалл/имнон, dv/anchor, лямбда/каппа); - Опыт разработки на Python - Опыт разработки ETL ...
- Полный день
- Опыт от 3 лет
ИЦ АЙ-ТЕКО- Москва
10 часов назад