Data engineer

Мы настраиваем репликацию данных из систем-источников. Сервис поставки данных - это инструмент загрузки данных различными технологиями в режиме близком к реальному времени. Стек технологий: Java (в т.ч. Spring), Apache Spark, Apache Kafka, Kubernetes/OpenShift

Твои задачи:

• Участвовать в сложных интеграционных проектах по развитию гибридного DWH заказчика (технологический стек: Hadoop, Oracle, Kafka)
• Заниматься конфигурацией и внедрением потоков данных, разработка алгоритмов загрузки и обработки данных в Hadoop, а также консультирование новых команд загрузки и команд, подготавливающих источники данных, по продуктам и процессам
• Оптимизировать и тонкая настройка ETL-процессов
• Анализировать и тестировать существующие решения в технологическом стеке Hadoop

Мы ждем от тебя:

• Опыт работы с экосистемой Hadoop (HDFS, Hive, Spark, Impala, HBase, Cassandra)
• Реляционные СУБД (Oracle, MS SQL)
• Промышленные ETL-инструменты

Что мы обеспечим:

• Участие крупном и динамично развивающемся проекте
• Внутренние семинары, внутренние митапы, мы очень любим учиться новому
• ДМС со стоматологией для сотрудников и скидку на покупку ДМС для ближайших членов семьи
• Технику для комфортной работы
• Сессии профессионального развития персонала, результатом которой является план индивидуального развития каждого сотрудника