QA Engineer / LLM Evaluation

В команду AIFA ищем QA-инженера, который будет отвечать как за классическое качество программного продукта, так и за оценку результатов работы LLM и финансового агента.

Роль подойдёт технически сильному специалисту или QA-инженеру, который хочет развиваться в автоматизации тестирования AI-продуктов.

Обязанности

• проводить функциональное, интеграционное, регрессионное и end-to-end тестирование AIFA
• тестировать backend API, пользовательский интерфейс и взаимодействие микросервисов
• автоматизировать API- и UI-тесты
• проверять длительные и параллельные процессы, стриминг, повторные вызовы и восстановление после ошибок
• создавать и поддерживать тестовые наборы для извлечения данных, Q&A, финансового анализа и моделирования
• формировать бенчмарки и метрики качества LLM-компонентов
• проверять воспроизводимость результатов и анализировать причины деградации качества
• участвовать в разборе дефектов и контролировать их исправление.
• Формировать quality gates для выпуска релизов
• организовывать валидацию результатов совместно с финансовыми экспертами.

Требования

• опыт в роли QA от 2х лет
• понимание основных видов и методик тестирования
• опыт тестирования REST API
• базовые знания Python и готовность развиваться в автоматизации
• базовый SQL
• умение работать с логами и локализовывать источник ошибки
• понимание клиент-серверной и микросервисной архитектуры
• внимательность к деталям и способность системно описывать дефекты
• опыт с pytest, CI/CD, Docker, нагрузочным тестированием или оценкой LLM будет преимуществом
• глубокая финансовая экспертиза не обязательна — необходимую предметную часть поможет освоить команда.

Условия

• комфортный современный офис рядом с м. Ленинский проспект
• гибридный формат работы
• ежегодный пересмотр зарплаты, квартальная и годовая премия (премия указывается в зависимости от должности и системы премирования)
• корпоративный спортзал и зоны отдыха
• более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
• программа адаптации и помощь руководителя на старте (для вакансий уровня Junior)
• расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
• гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ
• подписка Прайм с возможностью совместного использования на трёх близких
• вознаграждение за рекомендацию друзей в команду Сбера.