Data Engineer (Hadoop)
По договоренности
Чем предстоит заниматься
- Проектирование и разработка отказоустойчивых ETL/ELT процессов в экосистеме Hadoop и Oracle
- Оптимизация и сопровождение пайплайнов данных (Spark, PySpark, Airflow)
- Интеграция новых источников данных и построение витрин для бизнес-заказчиков
- Обеспечение качества и актуальности данных в продуктивных системах
- Участие в архитектурных решениях по хранению и обработке больших данных
- Ad-hoc аналитика и поддержка команд аналитиков и data scientist
Что для этого нужно
- Высшее техническое образование
- Опыт работы с большими данными от 3 лет
- Хорошее знание Python (pandas, PySpark) и SQL
- Опыт работы с Hadoop/Spark и системами оркестрации (Airflow и др.)
- Понимание принципов построения витрин данных и дата-моделирования
- Опыт оптимизации запросов и пайплайнов обработки данных
- Навыки работы с git и Linux bash
- Ответственность за результат и умение работать в команде
Опубликована 5 дней назад
Похожие вакансии
Объединённая компания Wildberries и Russ — это международная технологическая компания, образованная в результате слияния двух лидеров рынка — IT-компании Wildberries и оператора наружной рекламы Russ. Ищем дата инженера в направление Data Platform! В...
- Можно удаленно
- Полный день
- Опыт от 3 лет
WILDBERRIES- Москва
13 часов назад
Основная наша цель - это создание и эффективное внедрение ML моделей для решения бизнес - задач в Банке. Мы ищем инженера данных, который поможет обеспечивать ML инженеров надёжными и качественными данными. Вам предстоит организовывать хранение и обр...
- Можно удаленно
- Полный день
- Опыт от 3 лет
Газпромбанк- Москва
16 часов назад
Чем предстоит заниматься: Анализ требований/методик заказчика (Финансовый блок) Поиск и обработка необходимых данных Проектирование решений, разработка прототипов Самостоятельное принятие решений в спорных вопросах Оптимизация процессов Поддержка и т...
- Можно удаленно
- Полный день
- Опыт от 3 лет
Альфа-Банк- Москва
14 часов назад
Наша команда отвечает за качество моделей Text-to-speech в GigaChat – той части нейросети, которая занимается звуком. Сейчас мы ищем ребят, которые будут работать над базовым качеством, мультимодальным Гигачатом и другими классными проектами. Обязанн...
- Можно удаленно
- Полный день
- Опыт от 3 лет
СБЕР- Москва
14 часов назад
Мы ищем математика-разработчика в группу товародвижения в отдел Data Science. Команда поддерживает и развивает проект автоматического заказа поставщикам для оптимального пополнения наших складов товарами. Это позволяет поддерживать большинство наших ...
- Можно удаленно
- Полный день
- Опыт от 3 лет
Ozon- Москва
13 часов назад
Чем предстоит заниматься: Настройка инфраструктуры Разработка первых пайплайнов для интеграции с источниками данных (MSSQL, PostgreSQL, API) Проектирование и разработка ETL/ELT пайплайнов Настройка интеграций с источниками данных (MSSQL, PostgreSQL, ...
- Можно удаленно
- Полный день
- Опыт от 3 лет
FUN&SUN- Москва
4 дня назад
Вакансия в подборках
Похожие вакансии
WILDBERRIESГазпромбанкАльфа-Банк