Data Engineer (Java)

Мы российская быстрорастущая платформа, созданная для взаимодействия разработчиков и ведущих компаний России.

У нас множество компаний-партнёров, которые готовы принять к себе в команду Data engineer для работы над современными продуктами.

Одно из наших преимуществ-это оперативный процесс найма. Обычно 1-2 собеседования независимо от компании.

• Организация репликации и индексирования данных из различных источников (преимущественно Apache Hive) в распределённый облачный кластер (Apache Hive);
• Обеспечение доступности и актуальности данных для обработки запросов в режиме реального времени;
• Реализация взаимодействия с данными через REST API и брокеры сообщений (Kafka, IBM MQ);
• Поддержка сценариев оперативного доступа к данным, включая:
  • предоставление информации об остатках по счетам физических лиц по запросам государственных органов;
  • обработку данных о товарах в чеках для отображения в мобильных приложениях;
• Оптимизация процессов загрузки, хранения и обработки данных в распределённой среде.

Требования:

• Базовый уровень знания java (циклы, условия, хешмапы и т.д.)
• Базовый уровень знания и понимание CI/CD
• Linux (basic), Ansible, SQL, Git, XML, JSON, XSLT, YAML
• Базовые знания экосистемы Hadoop и его компонентов (Apache Solr, Apache Hive, Apache HBase, Apache Spark, Apache Zookeper, Apache Oozie, Apache Camel)
• Язык: английский, уровень владения: технический (чтение документации, профильных ресурсов)

Условия:

• Полная занятость

• Поддержка на протяжении всего проекта

• Оформление по ИП/ООО