Инженер по автоматизированному тестированию/ Руководитель команды тестирования

Мы создаем интеллектуальную мультиагентную систему, которая полностью трансформирует цифровые продажи банковских B2B продуктов для клиентов микро и малого бизнеса.

Основа — это сеть специализированных AI-агентов, каждый из которых выполняет свою роль: выявляет потребности клиента, консультирует, обрабатывает возражения, подбирает продукт и доводит до сделки.

Наша цель — построить масштабируемую AI-систему продаж, которая:

- обладает навыками устной и письменной коммуникации, ведет общение в естественной человеческой манере персонализирует коммуникацию в реальном времени

- адаптирует сценарии под запрос пользователя, поведение и контекст клиента

- постоянно обучается на данных и улучшает клиентский опыт

Первый этап отбора на эту вакансию – общение с AI-рекрутером. После отклика вам на почту и в чат на платформе HeadHunter придет приглашение пройти первичное интервью с ГигаРекрутером в Telegram. Диалог займёт примерно 10 минут. Его задача — уточнить недостающие детали и ускорить рассмотрение вашей кандидатуры.

ГигаРекрутер только начинает свой путь, поэтому просим относиться с пониманием. Ваш опыт и участие помогут сделать его удобным и полезным!

Обязанности

• Построение процесса тестирования мультиагентной AI-системы с нуля
• Определение метрик качества для AI-агентов (точность интента, полнота ответа, отсутствие галлюцинаций)
• Оценка рисков и принятие решения о готовности релиза
• Разработка и выполнение тест-кейсов для проверки логики и поведения AI-агентов
• Тестирование диалоговых сценариев (включая обработку возражений)
• Проведение регрессионного, интеграционного и end-to-end тестирования
• Проведение приемо-сдаточных испытаний
• Валидация качества ответов агента: релевантность, точность, отсутствие галлюцинаций
• Создание и поддержка автоматизированных тестов для API, UI и бизнес-логики агента
• Разработка тестового фреймворка
• Автоматизация проверки качества LLM-ответов (LLM-as-a-judge, а также анализирование метрик и дэшбордов)

Требования

• Опыт в тестировании 5+ лет, из них 2+ в автоматизации / тестировании AI-систем
• Владение Python (писать читаемый, поддерживаемый, расширяемый код)
• Опыт разработки и доработки тестовых фреймворков (не просто использование)
• Знание основных паттернов проектирования ПО
• Работа с Git
• Опыт работы с CI/CD (Jenkins / аналоги)
• Знание SQL (средний уровень)
• Инструменты для тестирования API (Postman или аналоги)
• Опыт работы с Jira, Confluence
• Опыт тестирования сложных систем с интеграциями

Условия

• комфортный современный офис рядом с м. Кутузовская
• ежегодный пересмотр зарплаты и годовая премия
• корпоративный спортзал и зоны отдыха
• более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
• программа адаптации и помощь руководителя на старте (для стартовых позиций)
• расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
• бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров.