Product Analyst (GigaChat)

Мы - команда ML-инженеров GigaChat Data. Наша команда готовит данные для обучения всей линейки моделей LLM GigaChat (Text, Vision, Audio, Embeddings и др.).

Мы собираем данные как для базовых моделей, так и для их адаптации под конкретные сценарии.

Сейчас мы ищем продуктового аналитика, который будет помогать нам с околорелизными процессами: системно оценивать модели, собирать тестовые наборы данных и отслеживать качество ответов на ключевых сценариях использования.

Обязанности

• анализировать требования к качеству моделей и формализовывать их в тестовые сценарии и чек-листы
• собирать и поддерживать тестовые сеты
• участвовать в релизном процессе: проводить приёмку модели, оценивать качество ответов, считать автоматические метрики, организовывать и анализировать ручную разметку
• использовать современные подходы к оценке качества LLM:
• SBS (side-by-side evaluation) - сравнение моделей между собой
• LLM-as-a-judge - автоматическая оценка ответа с помощью другой модели
• специализированные сайты, бенчмарки (ChatBot Arena, MT-Bench и др.)
• взаимодействовать с командой разработчиков: выявлять потенциальные проблемы, предлагать улучшения
• отслеживать баг-репорты, классифицировать их и формировать задачи
• проводить анализ пользовательских логов, выявлять системные ошибки и регистрировать инциденты
• развивать автоматизацию проверки качества и интегрировать её в пайплайн релизов.

Требования

• уверенное владение Python и опыт работы с библиотеками для анализа данных (pandas, NumPy и др.)
• знание и практическое применение публичных бенчмарков (MMLU, GSM8K, MATH, HumanEval и тд)
• практический опыт работы с современными LLM: Llama, Mistral, Qwen, GPT (OpenAI), Gemini (Google), Claude (Anthropic) или аналогичными
• навыки работы с данными: очистка, нормализация, подготовка датасетов
• внимательность к деталям, умение находить нестандартные ошибки в сложных сценариях
• способность документировать процессы в понятной форме
• навыки работы с генеративными AI-моделями; опыт создания AI-агентов и использования их в работе будет преимуществом.

Условия

• удаленный/гибридный/офисный формат в Москве, Санкт-Петербурге и Нижнем Новгороде
• ежегодный пересмотр зарплаты и годовая премия
• расширенный ДМС и льготное страхование для семьи
• уникальная система обучения Сбера для профессионального и карьерного развития
• гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ
• бесплатная подписка СберПрайм+, скидки на продукты компании-партнёров
• вознаграждение за рекомендацию друзей в команду Сбера
• корпоративная пенсионная программа.