Data Engineer

xTrace.ae — международная цифровая платформа track & trace.
Создаём технологическое решение для маркировки, отслеживания и контроля движения товаров по цепочке поставок.

Мы делаем масштабный международный проект на стыке технологий и логистики — строим гибкую, устойчивую и масштабируемую платформу, востребованную в разных странах.

В связи с расширением круга проектов компании мы ищем опытного Data Engineer для выполнения задач сбора, спецификации и согласования требований к продукту.

Обязанности:

• Проектирование и разработка ETL/ELT пайплайнов с использованием Apache Spark и YQL.
• Настройка и поддержка DAG в Apache Airflow.
• Обеспечение загрузки данных из внешних источников.
• Проектирование и оптимизация модели данных в 3-слойной архитектуре (Stage, Core, Datamart).
• Создание и оптимизация материализованных представлений.
• Обеспечение историчности изменений данных.
• Внедрение автоматических проверок качества данных на всех этапах обработки.
• Разработка метрик контроля качества для ETL-процессов, мониторинг и устранение проблем с целостностью данных.
• Анализ и оптимизация производительности запросов.
• Участие в разработке и поддержке инфраструктуры на базе Kubernetes.
• Настройка CI/CD пайплайнов в GitLab.

Требования:

• Опыт работы с Big Data технологиями от 3 лет.
• Отличное знание SQL и опыт работы с распределенными СУБД.
• Опыт разработки ETL процессов.
• Знание Apache Spark.
• Опыт работы с Apache Airflow или аналогичными оркестраторами.
• Понимание принципов построения DWH.
• Знание Python.
• Опыт работы с Git.
• Опыт работы с Yandex Tables (YT) и YQL.
• Опыт работы с Kubernetes.
• Знание принципов построения многослойных архитектур данных.
• Опыт работы с Apache Superset или аналогичными BI-инструментами.

Желательно:

• Опыт работы с GraphDB и анализом графов.
• Знание алгоритмов машинного обучения (node2vec, нейросети).
• Знание принципов построения Real-Time аналитики.

Условия:

• Работа в крупной и стабильной IT компании.
• Удаленный формат работы.
• Профессиональный и дружный коллектив.
• Высокий уровень стабильного дохода, условия обсуждаются с каждым кандидатом индивидуально по результатам интервью.