Инженер по тестированию AI агентов (команда Забота о клиентах)

Департамент 'Забота о клиентах' работает над разработкой AI агентов на платформе GigaChat (аналог ChatGPT) для автоматизации клиентского обслуживания в банковской сфере. Агенты отвечают на вопросы про баланс, формируют справки для клиентов, маршрутизируют задачи в нужное подразделение и многое другое.

Наша команда помогает с тестированием и оценкой эффективности внедряемых AI агентов.

Обязанности

• Написание и оптимизация промптов для AI агентов
• Разработка тест-кейсов для различных сценариев и автоматизация тестов (на Python/Java)
• Анализ данных - выгрузка и обработка данных из SQL-баз для формирования тестовых корзин
• Подготовка отчетов по качеству и рекомендаций по оптимизации работы агентов
• Взаимодействие с кроссфункциональными командами банка.

Требования

• Понимание принципов работы LLM и влияния промпта на их работу
• Умение анализировать данные (SQL, Excel, Python) и интерпретировать метрики качества
• Понимание структур данных, опыт программирования на Python/Java (от 1 года, включая учебные проекты) для написания скриптов автоматизации
• Знание базовой статистики, умение делать выводы на основе данных.

Будет плюсом:

• Опыт работы с GigaChat, ChatGPT или аналогичными LLM-платформами, опыт написания промптов
• Знание метрик качества (в том числе качества ответов LLM)
• Опыт тестирования AI/ML-решений.

Условия

• Комфортный современный офис рядом с м. Кутузовская
• Формат работы - офис
• Ежегодный пересмотр зарплаты, годовая премия
• Корпоративный спортзал и зоны отдыха
• Более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
• Расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
• Гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ
• Бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров
• Вознаграждение за рекомендацию друзей в команду Сбера.