Data Engineer, ОК
По договоренности
В команду, занимающуюся анализом и хранением данных, ищем человека на роль Data Engineer.
Основной задачей будет построение и оптимизация ETL-процессов на базе YTsaurus-стека технологий.
Задачи
- Построение новых и оптимизация старых ETL-процессов
- Участие в доработках платформы и фреймворка расчётов (Java, Spark)
- Разработка новых витрин данных для задач аналитики и A/B-экспериментов
- Разработка отчётов в SuperSet
Требования
- Опыт работы с SQL и большими объёмами данных
- Опыт построения сложных ETL-процессов
- Опыт с конкретными технологиями не критичен, важно понимание основных принципов работы с большими данными, алгоритмов их обработки
- Знание базовых алгоритмов и структур хранения данных, понимание принципов работы распределённых систем
- Обязателен опыт работы с Hadoop-стеком, ClickHouse, Spark, Java, Airflow
- Будет плюсом опыт работы с YTsaurus, YQL
Адрес: Россия, Москва
Опубликована месяц назад
Похожие вакансии
чем ты будешь заниматься Участвовать в миграции Хранилища данных на новые технологии, используя наш фреймворк. Создавать новые и развивать старые интеграции по загрузке сырых данных в DataLake. Разрабатывать pipline'ов доставки и обработки данных фор...
- Можно удаленно
- Полный день
- Опыт от 3 лет
МАГНИТ, Розничная сеть- Москва
20 часов назад
Объединённая компания Wildberries и Russ — это международная технологическая компания, образованная в результате слияния двух лидеров рынка — IT-компании Wildberries и оператора наружной рекламы Russ. Ищем дата инженера в направление Data Platform! В...
- Можно удаленно
- Полный день
- Опыт от 3 лет
WILDBERRIES- Москва
4 дня назад
300 000 - 380 000 ₽
Выше средней на 13%
LIAN — системный интегратор с фокусом в аналитике и управлении данными. Мы работаем в трех направлениях: 1. Автоматизация управленческой отчетности (BI) в малом и среднем бизнесе. Строим хранилища данных, настраиваем сбор и интеграцию, разрабатываем ...
- Можно удаленно
- Полный день
- Опыт от 3 лет
LIAN- Москва
5 дней назад
Основная наша цель - это создание и эффективное внедрение ML моделей для решения бизнес - задач в Банке. Мы ищем инженера данных, который поможет обеспечивать ML инженеров надёжными и качественными данными. Вам предстоит организовывать хранение и обр...
- Можно удаленно
- Полный день
- Опыт от 3 лет
Газпромбанк- Москва
5 дней назад
Rapporto – одна из крупнейших IT-компаний на рынке телекоммуникаций. Более 17 лет мы обслуживаем B2B-рынок. Наши продукты позволяют компаниям ежедневно общаться со своими клиентами через различные каналы коммуникаций: push-уведомления, мессенджеры, S...
- Можно удаленно
- Полный день
- Опыт от 3 лет
Раппорто- Москва
14 часов назад
300 000 - 350 000 ₽
Выше средней на 8%
Обязанности: Выполнение роли разработчика корпоративного аналитического Хранилища данных и роли технического эксперта по миграции ХД с Oracle на новый технологический стек (конфигурация хранилища Iceberg, S3, Clickhouse). Построение и оптимизация цел...
- Можно удаленно
- Полный день
- Опыт от 3 лет
Дата Дженерейшн- Москва
8 дней назад
Вакансия в подборках
Похожие вакансии
МАГНИТ, Розничная сетьWILDBERRIES300 000 - 380 000 ₽
LIANГазпромбанк