Data Engineer

Мы разрабатываем платформу конфиденциального машинного обучения и высоконагруженные сервисы данных, создающие конкурентное преимущество для бизнеса в области финтеха. Нашими продуктами пользуются 80% банковского сектора России. Мы ищем старшего разработчика на Spark и Scala для участия в создании платформы машинного обучения

Чем предстоит заниматься

• Разрабатывать MLOps/autoML платформы
• Миграция сервисов платформы на новые версии библиотек scala/spark
• Проектировать структуры хранения и представления данных
• Разрабатывать промышленные сервисы распределенной обработки данных для поставки данных на платформу машинного обучения
• Анализировать производительность и масштабировать продукты под возрастающую нагрузку
• Писать юнит и интеграционные тесты, проводить code review

Что для этого нужно

• Опыт разработки на Scala от 2 лет
• Опыт работы со Spark
• Понимание принципов оптимизации обработки данных (знание форматов хранения данных, понимание принципов работы join и т.д.
• Понимание архитектуры и принципов работы Spark-приложений
• Навык работы с Docker, Kubernetes Будет плюсом:
• Опыт работы со SparkML
• Знания особенностей spark разных версий
• Опыт проектирования или работы с современными MLOps платформами
• Понимание принципов обучения ML-моделей
• Знание Python
• Опыт работы с базами данных Cassandra, Scylla etc.

*Трудоустройство в аккредитованную ИТ-компанию ООО «ЕдиныйФактор"