Data Engineer

О нас

CPS.ai — это неформальная обстановка, крутые ИТ-проекты в области Big Data и решения, конкурирующие с лидерами рынка!

Наша команда растёт и мы ищем Data Engineer, которые помогут команде спроектировать новый функционал и модернизировать действующие системы на крупном проекте.

BigData + Machine Learning + HighLoad > Это про нас)

Тебя ждёт: Ты любишь разбираться в сложных потоках данных, строить архитектуру, где всё работает быстро и надёжно? Хочешь поработать над масштабным проектом, где твои решения будут влиять на будущее цифровых сервисов? Тогда тебе к нам! Мы строим современный data lakehouse, и твоя экспертиза станет ключевой частью этого процесса.

Твои задачи:

• Проектирование и разработка производительных ETL-процессов: от загрузки XML-источников до хранения в Parquet (S3) и последующей трансформации в реляционные структуры
• Нормализация, дедупликация и идентификация "золотых" записей в данных
• Работа с обезличенными семплами данных на удалённом стенде в Яндекс Облаке
• Перенос и внедрение решений в закрытый контур заказчика
• Оптимизация потоков данных для высокой производительности и масштабируемости
• Взаимодействие с командой аналитиков, разработчиков и архитекторами
• Документирование решений и поддержка процессов передачи знаний

Требования:

• Опыт работы Data Engineer от 1 года
• Уверенное владение Python и инструментами для обработки данных (pandas, pyarrow и др.)
• Опыт построения ETL/ELT-процессов, желательно с использованием Airflow
• Знание принципов работы с S3, Parquet, реляционными БД (PostgreSQL и др.)
• Навыки работы с XML: парсинг, трансформация, валидация
• Понимание принципов нормализации данных, дедупликации, поиска "золотых" записей
• Опыт работы с облачными платформами (Яндекс Облако, AWS и др.)
• Готовность подписать NDA и работать с обезличенными данными
• Умение работать в команде, самостоятельность, ответственность

Бенефиты:

• Официально аккредитованный работодатель

• Полностью удалённая работа на территории РФ

• Современное топовое оборудование
• Разнообразные технологичные проекты
• Профессиональный и личностный рост
• Оформление по ТК РФ, конкурентная заработная плата
• Профессиональное обучение и конференции по запросу

Минусы:

• Очень много интересных и сложных задач)))
• Будут спрашивать результаты работы

Готов создавать вместе с нами сервисы будущего?

Готов брать на себя ответственность за сложные вызовы?

Если да, ждём твоё резюме, рады будем видеть тебя в команде!