Data Engineer

По договоренности

Москва

Динамо
Белорусская
Маяковская

Команда ETL Performance обладает ключевой экспертизой в области производительности ETL процессов в компании и занимается системным подходом к улучшению метрик процессов регулярного обновления данных, отвечает за эффективную утилизацию ресурсов платформы работой ETL, выработку лучших практик в технологиях целевого стека - Spark + Iceberg/S3 и их трансляцию

Требования:

Глубокое понимание архитектуры хранилищ данных (DWH) и озер данных (DLH)
Промышленный опыт реализации ETL процессов
Глубокое понимание принципов распределенных данных и вычислений
Аналитический склад ума
Опыт анализа данных и знание статистики
Знание Spark на выском уровне

Обязанности:
Анализ работы существующих Spark процессов, поиск проблемных мест, рекоммендации по улучшению
Выработка и документирования лучших практик для Iceberg + Spark для сообщества Data Engineer-ов
Развитие алгоритма выделения ресурсов для ETL процессов на Spark
Поиск и реализация стратегических мер для улучшения производительности ETL процессов на Spark

Откликнуться

Адрес: Россия, Москва, улица Грузинский Вал, 7

Показать на большой карте

Опубликована месяц назад

Data Engineer

В связи с активным развитием проектов в компании открыта вакансия DATA ENGINEER в офис в Москве.

Полный день
Опыт от 3 лет

ИЦ АЙ-ТЕКО

Москва

2 дня назад

Откликнуться

Data Engineer (SafeHub)

Ищем Data Engineer c уклоном в Data Science, которому предстоит заниматься извлечением, подготовкой и ... Мы предлагаем карьерный рост как в Data Engineering, так и в Data Science направлениях. ... Требования высшее образование опыт работы от 2х лет в роли Data Engineer, Data Analyst или ETL-разработчика ...