Data Engineer
По договоренности
Команда ETL Performance обладает ключевой экспертизой в области производительности ETL процессов в компании и занимается системным подходом к улучшению метрик процессов регулярного обновления данных, отвечает за эффективную утилизацию ресурсов платформы работой ETL, выработку лучших практик в технологиях целевого стека - Spark + Iceberg/S3 и их трансляцию
Требования:
- Глубокое понимание архитектуры хранилищ данных (DWH) и озер данных (DLH)
- Промышленный опыт реализации ETL процессов
- Глубокое понимание принципов распределенных данных и вычислений
- Аналитический склад ума
- Опыт анализа данных и знание статистики
- Знание Spark на выском уровне
Обязанности: - Анализ работы существующих Spark процессов, поиск проблемных мест, рекоммендации по улучшению
- Выработка и документирования лучших практик для Iceberg + Spark для сообщества Data Engineer-ов
- Развитие алгоритма выделения ресурсов для ETL процессов на Spark
- Поиск и реализация стратегических мер для улучшения производительности ETL процессов на Spark
Адрес: Россия, Москва, улица Грузинский Вал, 7
Опубликована 6 часов назад
Похожие вакансии
КОМПАНИЯ «АЙ-ТЕКО» - ведущий российский системный интегратор и поставщик информационных технологий для корпоративных заказчиков. Активно действует на рынке IT России с 1997 года, входит в ТОП-400 крупнейших российских компаний, ТОП-5 крупнейших IT-ко...
- Полный день
- Опыт от 3 лет
ИЦ АЙ-ТЕКО- Москва
день назад
Ищем коллегу, который погрузится в тонкости работы экосистемы данных в Okko и поможет в решении таких задач как: внедрение ETL-процессов на Airflow; создание витрин данных; участие в построении DWH; участие в проектировании модели данных; администрир...
- Полный день
- Опыт от 3 лет
Okko- Москва
2 дня назад
Делаем банк для тех, кто живёт жизнь. И сами следуем этому принципу: любим спортик, вкусную еду, красивые вещи, встречи с друзьями. А ещё считаем, что всё вокруг должно быть в удовольствие — в том числе банкинг. Для нас важно быть визионерами во всём...
- Полный день
- Опыт от 3 лет
Рокетбанк- Москва
2 дня назад
Прикладная аналитическая платформа Блока Риски - это решение, позволяющее создавать аналитические витрины на Облаке Данных по различным направлениям бизнеса таких как: расчет оптимальных стратегий взыскания расчет предложений по реструктуризации расч...
- Полный день
- Опыт от 3 лет
СБЕР- Москва
2 дня назад
НАШ СТЕК: Hadoop, GreenPlum, S3; Airflow, Spark, Kafka, Debezium; ClickHouse, Superset; ЧТО ТЕБЯ ЖДЕТ: Анализ имеющегося функционала хранилища данных для целей миграции бизнес-процессов; Анализ новых требований от заказчиков по задачам развития отчет...
- Полный день
- Опыт от 3 лет
ИЦ АЙ-ТЕКО- Москва
2 дня назад