Head of Data Science & Analytics

Мы — команда по работе с данными и аналитикой ИИ-помощника Сбера. Отвечаем за то, чтобы качество генеративных моделей измерялось честно и воспроизводимо, модели дообучались под продуктовые задачи, а продуктовые и бизнес-решения принимались на данных: метрики, эксперименты, бенчмарки, human evaluation и инфраструктура, которая помогает командам быстрее находить ответы. Мы ищем лидера с сильным исследовательским и ML-бэкграундом, который построит систему оценки качества GenAI на уровне лучших практик индустрии и сам организует процесс дообучения моделей: SFT, DPO, RL. В скоуп роли также входит руководство функцией продуктовой аналитики. Нам важен играющий тренер: задаёт методологию, растит лидов и при этом сам погружается в самые сложные задачи. Наша амбиция — собрать лучшую в стране команду на стыке качества моделей и дата-аналитики, и эту команду предстоит достраивать вам.

Обязанности

• Построение целостной системы оценки качества ИИ-помощника: дерево метрик качества, целевые бенчмарки, side-by-side (SBS) сравнения с конкурирующими ассистентами, human evaluation и LLM-as-a-judge — с пониманием ограничений каждого метода и того, как они дополняют друг друга.
• Организация процесса дообучения моделей под продуктовые задачи: SFT, DPO и RL — от постановки задачи и подготовки датасетов (включая preference-данные из human feedback) до обучения, оценки и критериев допуска в прод; выстраивание воспроизводимого пайплайна, которым команда пользуется самостоятельно.
• Развитие эвал-платформы: замкнутый цикл «метрика → эвал → обучение/проверка → quality gate» как обязательный шаг допуска изменений модели и скиллов в продукт.
• Организация процессов человеческой оценки и разметки: экспертная и краудсорсинговая разметка, AI-тренеры, стандарты заданий, калибровка и контроль согласованности оценщиков.
• Руководство функцией через тимлидов трёх команд: ML/DS, продуктовая аналитика и AI-платформа (команды по ~5 человек); найм и развитие лидов, целеполагание, распределение приоритетов между продуктовыми доменами. Контроль функции продуктовой аналитики: единый слой продуктовых метрик, A/B на потоке, мониторинги ключевых метрик; квартальный и годовой roadmap аналитики, согласование стратегических развилок с владельцами продукта, платформы и данных.
• Представление решений аналитики на уровне C-level; развитие стандартов профессии и публичное представление команды — конференции, статьи

Требования

• Опыт руководства data science / аналитическими командами через тимлидов (от 10–15 человек), включая найм, развитие и калибровку лидов.
• Глубокая экспертиза в оценке качества LLM/GenAI: построение метрик качества, работа с бенчмарками и аренами (и понимание их ограничений), организация human evaluation, model-as-a-judge, специализированные evaluation-датасеты. Практический опыт дообучения LLM: SFT, DPO/preference-тюнинг, RL (RLHF/RLVR), адаптеры — на уровне, позволяющем самому организовать процесс end-to-end: данные, обучение, оценка, допуск в прод
• Понимание жизненного цикла моделей в продукте: связь обучающих данных с целевыми метриками качества, контроль деградаций и регрессий.
• Уверенное владение статистикой, A/B-тестами и продуктовыми метриками.
• AI-native подход: реальный опыт интеграции LLM и агентов в аналитические процессы команды.
• Готовность к высокому темпу: частые срочные запросы от продукта, оперативное погружение в верхнеуровневые задачи.

Условия

● Комфортный современный офис рядом с м. Кутузовская

● Ежегодный пересмотр зарплаты, годовая премия

● Корпоративный спортзал и зоны отдыха

● Система обучения для профессионального и карьерного развития

● Расширенный полис ДМС с первого дня работы и страхование для семьи

● Льготная программа ипотеки для сотрудников

● Бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров

● Вознаграждение за рекомендацию друзей в команду Сбера