Data Engineer

Мы являемся международным продуктовым IT-холдингом, работающим над собственными цифровыми продуктами. Наша команда создаёт инновационные решения в области цифровых коммуникаций, интеграции платёжных сервисов и пользовательского дизайна на глобальном уровне. Сейчас мы находимся в поиске Data Engineer в свой дружный коллектив!

Мы гарантируем будущему коллеге:

• Высокую заработную плату по итогам интервью
• График работы 5/2, 8 часовой рабочий день, гибкое начало с 8:00-10:00;
• Оплачиваемый отпуск;
• Вид на море из офиса (1 линия) на Кипре;
• ​​​​​​​Релокационный пакет;
• Корпоративные уроки английского языка;
• Тренажерный зал и СПА в офисе;
• Корпоративное питание;
• Насыщенная корпоративная жизнь;
• Сложные задачи, которые позволят вам полностью раскрыть свой потенциал;
• Сильная команда единомышленников, профессионалов, которые будут рядом с вами для реализации амбициозных проектов, а также будут стимулировать ваше профессиональное развитие и привносить опыт.

Требования:

• Умение находить оптимальные решения и выбирать подходящие инструменты.
• Опыт работы с SQL (сложные запросы + оптимизация);
• Опыт работы с Python (общие принципы + библиотеки для DE);
• Опыт работы с Kafka, Spark/PySpark, Iceberg, Nessie, TrinoDB;
• Опыт работы с Airflow, DBT, ClickHouse (DAG + MV);
• Опыт применения фреймворков для мониторинга и валидации данных (Data Quality frameworks).

Обязанности:

• Определять и документировать требования к отслеживанию событий для команды разработчиков;
• Собирайте необработанные события из Kafka и загружать их в Lakehouse (бронзовый и серебряный слои) с помощью Spark;
• Обогащать и агрегировать необработанные данные, преобразуя их в ClickHouse (золотой слой) с помощью Spark;
• Создавать готовые к использованию витрины данных с использованием Airflow, DBT и материализованных представлений ClickHouse;
• Реализовать проверки качества данных для заданий Spark и групп DAG Airflow;
• Поддерживать и развивать инфраструктуру Lakehouse совместно с командой DataOps;
• Автоматизировать повторяющиеся задачи и внедрить лучшие практики и стандарты для процессов проектирования данных;
• Написание и ведение технической документации.

Если в этом описании вы увидели себя, смелее направляйте резюме!