Data Platform Engineer

Описание проекта:

• Развитие и сопровождение системы класса CDP (Customer Data Platform);
• Объединение данных из 20+ источников в единую «Карточку клиента» с обеспечением требований Business Critical;
• Система включает компоненты online профиля клиента (streaming processing) и offline профиль клиента (batch processing);
• Выходным продуктом системы являются данные по клиентам, готовые для использования в бизнес-процессах.

Чем предстоит заниматься:

• Проектировать и разрабатывать batch- и streaming processing сервисы, удовлетворяющих требованиям Business Critical;
• Реализовывать интеграции с системами-источниками и системами-потребителями в части клиентских данных;
• Внедрять DQ-проверки на этапах обработки данных;
• Выстраивать мониторинг, логирование и сбор метрик системы;
• Реализовывать CI/CD, требования ИБ, компоненты для повышения надежности и стабильности сервисов.

Наши ожидания:

• 3+ года опыта в роли Data Engineer/Backend Developer;
• Java: уверенное владение для streaming processing;
• Python: для написания DAGs Airflow (DAG, операторы, сенсоры);
• Airflow: DAG, операторы, сенсоры;
• SQL: глубокое знание, оптимизация запросов, опыт работы с PostgreSQL и ClickHouse;
• Kafka: опыт работы с producers/consumers, настройка кластера/брокеров/топиков;
• СУБД: Redis/ClickHouse/PostgreSQL или подобные системы;
• CI/CD: Gitlab CI, Runners, Docker, Bash.

Мы предлагаем:

• Работу среди профессионалов финансового рынка;
• Насыщенную корпоративную жизнь;
• Возможность карьерного роста и профессионального развития;
• Стабильный конкурентный доход;
• Оформление согласно ТК РФ;
• Комфортный офис в центре (м. Проспект Мира);
• График работы 5/2 с 9:30 до 18:00, удаленный формат работы;
• ДМС, корпоративные скидки и предложения для сотрудников.