Разработчик Spark

Требования:

• Требования: Опыт работы не менее 2 лет в роли разработчика на Apache Spark.
• Что делал? Разрабатывал пайплайны по обработке данных на Apache Spark Java/Scala. Потоковая обработка данных, а именно:
• a. Вход/выход Kafka: объединение и фильтрация событий из топиков
• b. Обогащение событий из Kafka ответами внешних сервисов
• c. Обогащение событий из Kafka точечными запросами в СУБД: реляционные / key-value

Ожидания по тех-стекам:
a. Hadoop: понимание архитектуры и процессов
b. Реляционные БД: построение и оптимизация запросов, блокировки и транзакции
c. Java: core, работа сборщика мусора, коллекции, многопоточность
d. Apache Spark: core, оптимизации(планировщик запросов)
e. CI/CD: сборка сервиса, инвентари
f. Техническое образование

• Возможность профессионального и карьерного роста в компании, возможность поучаствовать в разных проектах;

• Опыт работы в распределенной команде профессионалов;

• Уровень заработной платы обсуждается индивидуально;

• Возможность работать совместно с командой в комфортном офисе Москвы.