Data Engineer (JAVA), ОК
По договоренности
В команду, занимающуюся анализом и хранением данных, ищем человека на роль Data Engineer.
Основной задачей будет построение и оптимизация ETL-процессов на базе YTsaurus-стека технологий.
Задачи
- Построение новых и оптимизация старых ETL-процессов
- Участие в доработках платформы и фреймворка расчётов (Java, Spark)
- Разработка новых витрин данных для задач аналитики и A/B-экспериментов
- Разработка отчётов в SuperSet
Требования
- Опыт работы с SQL и большими объёмами данных
- Опыт построения сложных ETL-процессов
- Опыт с конкретными технологиями не критичен, важно понимание основных принципов работы с большими данными, алгоритмов их обработки
- Знание базовых алгоритмов и структур хранения данных, понимание принципов работы распределённых систем
- Обязателен опыт работы с Hadoop-стеком, ClickHouse, Spark, Java, Airflow
- Будет плюсом опыт работы с YTsaurus, YQL
Адрес: Россия, Москва
Опубликована 5 дней назад
Похожие вакансии
260 000 - 300 000 ₽
«Brief» - это дружная команда единомышленников, где опытные специалисты и начинающие таланты вместе создают сервисы для лидеров российского бизнеса. Мы реализуем разноплановые проекты, среди которых сервисы для автомобильной промышленности, доставки ...
- Можно удаленно
- Полный день
- Опыт от 5 лет
Бриф- Москва
8 дней назад
Сегодня Билайн — компания изменений, чутко реагирующая на потребности рынка и людей. А ещё Билайн — это команда, объединённая общими ценностями и общей целью — быть лидером телеком и digital рынков, предоставляя нашим клиентам новейшие продукты и усл...
- Можно удаленно
- Полный день
- Опыт от 5 лет
билайн- Москва
18 дней назад
Ваши задачи: Проектировать, разрабатывать и поддерживать ETL/ELT-пайплайны; Настраивать процессы доставки изменений данных (CDC) из транзакционных баз (PostgreSQL, MongoDB); Проектированием схем, настройкой кластера (шардирование, репликация), оптими...
- Можно удаленно
- Полный день
- Опыт от 5 лет
START- Москва
19 дней назад
Ищем DWH Engineer для команды VK Видео — одного из крупнейших и самых популярных видеосервисов в России! Задачи Разрабатывать и поддерживать процессы обработки и доставки данных для аналитических и ML команд Собирать витрины, оптимизировать Писать ад...
- Можно удаленно
- Полный день
- Опыт от 5 лет
VK- Москва
12 дней назад
Чем предстоит заниматься: Участвовать в построении Lake House с единой точкой входа для ad-hoc запросов Улучшать CDC-процессы Ускорять продуктивизацию пользовательских витрин Обеспечивать высокое качество данных Делать Data-продукты, которые влияют н...
- Можно удаленно
- Полный день
- Опыт от 5 лет
«UZUM TECHNOLOGIES»- Москва
20 дней назад