Data Engineer (Spark)
По договоренности
Команда ETL Performance обладает ключевой экспертизой в области производительности ETL процессов в компании и занимается системным подходом к улучшению метрик процессов регулярного обновления данных, отвечает за эффективную утилизацию ресурсов платформы работой ETL, выработку лучших практик в технологиях целевого стека - Spark + Iceberg/S3 и их трансляцию
Требования:
- Глубокое понимание архитектуры хранилищ данных (DWH) и озер данных (DLH)
- Промышленный опыт реализации ETL процессов
- Глубокое понимание принципов распределенных данных и вычислений
- Аналитический склад ума
- Опыт анализа данных и знание статистики
- Знание Spark на выском уровне
Обязанности: - Анализ работы существующих Spark процессов, поиск проблемных мест, рекоммендации по улучшению
- Выработка и документирования лучших практик для Iceberg + Spark для сообщества Data Engineer-ов
- Развитие алгоритма выделения ресурсов для ETL процессов на Spark
- Поиск и реализация стратегических мер для улучшения производительности ETL процессов на Spark
Адрес: Россия, Москва, улица Грузинский Вал, 7
Опубликована 21 день назад
Похожие вакансии
Вакансии быстро закрываются — подпишитесь на наш канал в MAX сейчас, чтобы видеть их первыми.
Подписаться в MAX до 210 000 ₽
В связи с активным развитием проектов в компании открыта вакансия Data Engineer/Data аналитика. ... Будет большим плюсом: Понимание Data Governance (знакомство с DAMA, подходами к управлению качеством) ...
- Полный день
- Опыт от 3 лет
ИЦ АЙ-ТЕКО- Москва
4 дня назад
Ищем Data Engineer c уклоном в Data Science, которому предстоит заниматься извлечением, подготовкой и ... Мы предлагаем карьерный рост как в Data Engineering, так и в Data Science направлениях. ... Требования высшее образование опыт работы от 2х лет в роли Data Engineer, Data Analyst или ETL-разработчика ...
- Полный день
- Опыт от 3 лет
СБЕР- Москва
6 дней назад
В команде Вам предстоит заниматься разработкой сервисов, которые предоставляют продавцам online аналитику по их товарам. Клики, заказы, поисковая статистика и многие другие показатели необходимые нашим пользователям для принятия верных бизнес-решений...
- Полный день
- Опыт от 3 лет
RWB (Wildberries & Russ)- Москва
3 дня назад
Основные обязанности: анализ и оценка требований к потокам загрузки; обследование источников, системный анализ структур данных источников; разработка интеграционных решений для подключения к новым источникам; проектирование модели данных DWH (stage-о...
- Полный день
- Опыт от 3 лет
Вкусно — и точка- Москва
8 дней назад
Мы - Команда разработки DATA решений для Программы Лояльности СберСпасибо – отвечаем за промышленную ... обработку данных: Big Data, реальные SLA, живой драйвовый бизнес. ... Требования не менее 2 лет работы в качестве Data Engineer или ETL Developer; отличное знание SQL и современных ...
- Полный день
- Опыт от 3 лет
СБЕР- Москва
6 дней назад
Мы ищем опытного Data Engineer / DWH-разработчика для работы над аналитическими системами в финансовом ... с разработчиками, аналитиками и бизнесом для формализации требований Требования: • От 3 лет опыта в Data ... Quality, Data Governance и историзации данных Мы предлагаем: • Полную занятость • Офисный формат работы ...
- Полный день
- Опыт от 3 лет
HAAS PLATFORM- Москва
6 дней назад
Вакансия в подборках
Похожие вакансии
до 210 000 ₽
ИЦ АЙ-ТЕКОRWB (Wildberries & Russ)Вкусно — и точка