ML-инженер платформы данных (Senior, IC)

Наша команда отвечает за весь продуктовый ML в Сбере на базе GigaChat. Мы обучаем базовую модель для работы в продуктах СБОЛ (Сбербанк Онлайн, более 80 млн MAU) и Giga.Chat (более 20 млн уникальных пользователей).

Мы ищем сильного ML-инженера в команду платформы данных, трейна и эвала — общий фундамент для всех продуктов ассистента. Платформа состоит из трёх зон: платформа экспериментов, которая превращает скорость итерации в инженерную задачу; единый сервис трейна и эвала, где окружения и верификаторы одновременно питают обучение и оценку; платформа данных — единый источник истины по датасетам, трейсам и продовым логам.

Наша цель — сервисы, которым доверяют и которыми пользуются самостоятельно: продуктовые команды и исследователи работают с платформой через self-service интерфейсы и шаблоны, а не через очередь тикетов. Отдельная ответственность платформы — независимые пороги релиза: тот, кто обучает модель, не меряет её сам, а продукт не ставит себе планку релиза. Планку держит платформа.

Нам нужен инженер, который умеет самостоятельно доводить сложные технические задачи до production-качества и при этом готов выступать техническим наставником для одного-трёх стажёров или джуниоров: декомпозировать задачи, проводить код-ревью и помогать ребятам расти.

Чем предстоит заниматься:

• Развивать инфраструктуру экспериментов пост-обучения: метаданные, метрики, чекпоинты и артефакты каждого запуска собираются автоматически, любая цифра в отчёте воспроизводима спустя месяцы
• Собирать пайплайн `skill → train → LoRA → metrics`: от описания навыка до автосбора трейна, обучения адаптера и сравнимых метрик — без ручных шагов
• Развивать окружения и верификаторы как один актив, который одновременно питает обучение (генерацию SFT-данных, rejection sampling) и оценку (регрессию, независимые пороги релиза, калибровку автоматических чекеров) — по модели Atropos у Nous Research, где одно окружение работает и на обучение, и на оценку
• Проектировать хранение и версионирование SFT/DPO-датасетов, GOLDEN/ORACLE-трейсов и продовых логов
• Строить пайплайны сбора и обработки продуктовых логов Giga.Chat и СБОЛ: диалоги, обратную связь, телеметрию инструментов — с очисткой, удалением PII и защитой чувствительных финансовых данных

Наши ожидания:

• Сильный Python: production-grade код, тесты, профилирование и асинхронные пайплайны
• Опыт построения пайплайнов обработки данных на YTsaurus / YT или близких системах (Spark, Hadoop, Hive, Trino) с MapReduce-операциями на масштабе десятков и сотен миллионов записей
• Понимание полного цикла работы с данными для обучения LLM: сбор, очистка, фильтрация, дедупликация, аугментация и версионирование
• Практический опыт хотя бы с одним из методов пост-обучения (coldstart/SFT, DPO, RLHF/GRPO, online-RL): понимание формата данных, типичных проблем и метрик качества
• Опыт построения систем версионирования данных и трекинга экспериментов
• Умение самостоятельно довести задачу от прототипа в ноутбуке до сервиса, который не теряет данные и предсказуемо работает под нагрузкой
• Умение работать в условиях исследовательской неопределённости, сохраняя пайплайн гибким, воспроизводимым и надёжным
• Готовность тратить часть времени на наставничество одного-трёх ребят и делиться опытом внутри команды

Условия:

• Корпоративный спортзал и зоны отдыха
• Более 400 программ СберУниверситета для роста
• Программа адаптации и помощь руководителя на старте
• Крупнейшее DS&AI community — более 600 DS банка, регулярный обмен знаниями, опытом и лучшими практиками, интерактивные лекции и мастер-классы от ведущих ВУЗов и экспертов технологических компаний, дайджест о самых Последних разработках в области DS&AI и отчеты с крупнейших конференций мира, регулярные внутренние митапы
• Расширенный ДМС, льготное страхование для семьи, корпоративная пенсионная программа
• Ипотека для сотрудников по дисконтной программе