Data Engineer (Spark)
По договоренности
Команда ETL Performance обладает ключевой экспертизой в области производительности ETL процессов в компании и занимается системным подходом к улучшению метрик процессов регулярного обновления данных, отвечает за эффективную утилизацию ресурсов платформы работой ETL, выработку лучших практик в технологиях целевого стека - Spark + Iceberg/S3 и их трансляцию
Требования:
- Глубокое понимание архитектуры хранилищ данных (DWH) и озер данных (DLH)
- Промышленный опыт реализации ETL процессов
- Глубокое понимание принципов распределенных данных и вычислений
- Аналитический склад ума
- Опыт анализа данных и знание статистики
- Знание Spark на выском уровне
Обязанности: - Анализ работы существующих Spark процессов, поиск проблемных мест, рекоммендации по улучшению
- Выработка и документирования лучших практик для Iceberg + Spark для сообщества Data Engineer-ов
- Развитие алгоритма выделения ресурсов для ETL процессов на Spark
- Поиск и реализация стратегических мер для улучшения производительности ETL процессов на Spark
Адрес: Россия, Москва, улица Грузинский Вал, 7
Опубликована 8 часов назад
Похожие вакансии
Вакансии быстро закрываются — подпишитесь на наш канал в MAX сейчас, чтобы видеть их первыми.
Подписаться в MAX Нужен Data Engineer, который сможет взять на себя часть непрофильной для аналитиков работы по автоматизации ...
- Полный день
- Опыт от 3 лет
Ozon- Москва
2 дня назад
НАШ СТЕК: Hadoop, GreenPlum, S3; Airflow, Spark, Kafka, Debezium; ClickHouse, Superset; ЧТО ТЕБЯ ЖДЕТ: Анализ имеющегося функционала хранилища данных для целей миграции бизнес-процессов; Анализ новых требований от заказчиков по задачам развития отчет...
- Полный день
- Опыт от 3 лет
ИЦ АЙ-ТЕКО- Москва
2 дня назад
... имеете опыт работы c Airflow; понимаете принципы работы с колоночными БД; имеете базовое понимание data ...
- Полный день
- Опыт от 3 лет
RWB (Wildberries & Russ)- Москва
день назад
Java-подобного языка - Опыт работы с MPP системами (GreenPlum / Hadoop / StarRocks) - Опыт работы с DBT (Data ...
- Полный день
- Опыт от 3 лет
RUTUBE- Москва
2 дня назад
АНО «Цифровой аудит» специализируется на внедрении инноваций в области Big Data и AI для создания надежных ... Мы ищем Lead Data Engineer / руководителя команды, который возьмет на себя техническое лидерство и организацию ... OLTP и OLAP, Опыт работы с Data Warehouse и Data Lake; Опыт разработки на языке программирования Python ...
- Полный день
- Опыт от 3 лет
Цифровой аудит- Москва
2 дня назад