Data QA Engineer (Machine Learning / ML Models)

Привет! Мы - аккредитованная IT-компания MarfaTech, разрабатывающая собственные высокотехнологичные продукты для b2b клиентов глобальных рынков.

У нас большая экспертиза в используемых технологиях и мало legacy. Мы любим свой код и поддерживаем его в актуальном состоянии. На проектах используем самые актуальные и современные технологии.

Мы занимаемся полным циклом разработки ML-решений: AI бот, система рекомендации, прогнозы. От обучения моделей до вывода их в продакшн. Мы ищем человека, который понимает, что тестирование машинного обучения отличается от тестирования калькулятора, и знает, как проверить качество предсказаний в динамической среде.

Мы ждём как абсолютно готового Data QA специалиста, так и человека, который готов разобраться вместе с нами.

Мы ждем от тебя:

• Опыт в QA от 2-3 лет: ты понимаешь теорию тестирования и умеешь работать с API (Postman, Requests). Проверяешь не только корректность статус-кодов (200 OK), но и логическую адекватность ответов моделей;

• Уверенный Python: умение читать код моделей и писать скрипты для обработки данных;

• Базовое понимание ML: ты знаешь, что такое Precision, Recall, F1-score, и понимаешь разницу между классификацией и регрессией;

• Математическая интуиция: понимание, почему результат модели может плавать и как отличить статистическую погрешность от критической ошибки кода. Умение создавать тесты, которые учитывают вероятностную природу ответов (statistical testing) вместо жесткого сравнения «ожидаемое == фактическое».

Чем предстоит заниматься:

• Построить Precision@K метрику для рекомендательной системы;

• Проверять корректность расчета фичей в ML pipeline;

• Писать простые SQL Select запросы;

• Создать тестовый датасет (input, expected_behavior, must_have, not_have);

• Вместе с MLops, ModelOps настроить регулярный прогон тестов;

• Разработать механизм проверки на prompt injection;

• Автоматизировать регрессионное тестирование модели RAGAS(Faithfulness) и т. д.

Будет плюсом:

• Умения писать автотесты на Python для проверки пайплайнов обработки данных и вызова моделей.

• Опыт работы с Pandas, NumPy, Scikit-learn.

Мы предлагаем:

• Удаленный формат работы или современный комфортный офис рядом со ст.м. Динамо;

• Трудоустройство в аккредитованной белой IT-компании (предоставление всех IT-льгот);

• Достойный уровень заработной платы;

• Демократичную среду с возможностью предлагать и реализовывать свои идеи по улучшению сервиса и функциональности;

• Работу над сложными сервисами со множеством инженерных вызовов;

• Возможность карьерного роста;

• Возможность профессионального развития (обучение, конференции, литература, сильная команда высокого класса с большим опытом);

• Открытая и свободная friendly среда - у нас ты сможешь сам задавать тренды, а не следовать им;

• Кухня с завтраками, разнообразием фруктов, снеков и газировки;

• Разнообразные корпоративные и спортивные мероприятия;

• 50 % корпоративная скидка на изучение английского языка.