Разработчик Spark

Команда проекта занимается разработкой инструмента обработки данных. Коллеги консолидируют данные из различных внешних и внутренних источников, запускают пилотные проекты и обогащают данными в соответствии с требованиями бизнес-заказчиков. Для данных задач мы разрабатываем собственный инструмент загрузки и обработки данных.

Сейчас мы ищем коллегу на роль Разработчика Spark для работы в опытной команде. Присоединяйся к нашей команде и включайся в процесс разработки для банка Топ-5!

Твои задачи:

• Разрабатывать пайплайны по обработке данных на Apache Spark Java/Scala
• Осуществлять потоковую обработку данных
• Объединять и фильтровать события из топиков
• Обогащать события из Kafka ответами внешних сервисов
• Обогащать события из Kafka точечными запросами в СУБД: реляционные / key-value

Мы ждем от тебя:

• Опыт работы не менее 2 лет в роли разработчика на Apache Spark
• Высшее техническое образование
• Опыт работы с Hadoop: понимание архитектуры и процессов
• Навыки работы с Реляционными БД: построение и оптимизация запросов, блокировки и транзакции
• Опыт работы с Java: core, коллекции, многопоточность
• Опыт работы с Apache Spark: core, оптимизации(планировщик запросов)
  

Что мы обеспечим:

• Работа в гибкой методологии разработки
• Возможность расширить свою экспертизу, используя современный стек технологий
• Сессия профессионального развития персонала дважды в год, результатом которой является план индивидуального развития каждого сотрудника
• Поездки на конференции и тренинги за счет компании, внутренние семинары, внутренние митапы, мы очень любим учиться новому
• Сообщества по интересам: Лига Спорта, Лига Интеллекта, а также возможность организовать свое сообщество и получить поддержку от компании
• Корпоративная культура со своими ценностями и традициями, в которой каждый человек чувствует себя частью команды
• Новая техника для комфортной работы
• Уютный и комфортабельный офис со стороны заказчика, в котором располагается собственное кафе, столовая, современный тренажерный зал, релакс зоны