Разработчик Hadoop (Москва, Санкт-Петербург, Сочи, Нижний Новгород)

Проект: Проект делится на две части. 1) Миграция двух наборов витрин на целевое источники и целевое размещение. 2) После завершения миграции развитие набора данных, аналитики, срезов.

Мы ожидаем:

• Подтвержденный опыт коммерческой разработки на Java от 2 лет (по ТК РФ)
• Практический опыт работы с реляционными БД (PostgreSQL), приветствуется опыт с функциями, хранимыми процедурами, триггеры, OLAP-кубы)
• Практический опыт работы с экосистемой Hadoop: Hive, Spark от 2 лет
• Опыт работы с Apache Kafka: понимание принципов работы продюсеров и консьюмеров.
• Понимание принципов построения ETL/ELT-процессов.
• Умение работать в команде, ответственность, желание развиваться в Big Data.
  
  Чем предстоит заниматься:

• Разработка и поддержка ETL-процессов на базе Apache Hadoop (Hive, Spark, возможно, HBase, Hue для обработки и анализа больших объемов данных)
• Разработка и построение витрин данных (SQL, PL/SQL, PostgreSQL)
• Реализация логики обработки и обогащения данных
• Интеграция с Apache Kafka: чтение, обработка и запись данных в топики
• Взаимодействие с целевыми системами для передачи обработанных данных
• Участие в проектировании архитектуры витрин данных.
• Оптимизация производительности и мониторинг пайплайнов.

Условия:

• Возможность участия в интересном проекте
• Возможность профессионального и карьерного роста в компании;
• Опыт работы в команде профессионалов;
• Уровень заработной платы обсуждается индивидуально.
• Удаленная работа из городов: Москва, Санкт-Петербург, Нижний Новгород, Сочи