Research Engineer

В Центре робототехники Сбера мы разрабатываем модели, которые позволяют роботам понимать окружающий мир, выполнять инструкции и решать задачи в реальных условиях. Мы работаем над Vision-Language-Action (VLA) и World Action Models (WAM), объединяя обучение на изображениях, видео, языке и робототехнических данных.

Мы ищем Research Engineer, который будет заниматься предобучением и дообучением этих моделей: исследовать архитектуры и методы обучения, работать с большими мультимодальными датасетами, масштабировать обучение и адаптировать модели под конкретные задачи и робототехнические платформы. Работа охватывает полный цикл экспериментов — от постановки гипотезы и подготовки данных до оценки качества и проверки результатов на роботах совместно со смежными командами.

Первый этап отбора на эту вакансию — общение с AI-рекрутером. После отклика ждите сообщение от него, диалог займёт примерно 10 минут. Задача AI-рекрутера — уточнить недостающие детали и ускорить рассмотрение вашей кандидатуры. AI-рекрутер только начинает свой путь, поэтому просим относиться с пониманием. Ваш опыт и участие помогут сделать его удобным и полезным для всех!

Обязанности

• разрабатывать и обучать VLA/WAM-модели для понимания сцен и инструкций, предсказания динамики окружающего мира и генерации действий робота


• развивать методы предобучения на разнородных данных: изображениях, видео, текстах, демонстрациях и траекториях роботов


• дообучать и адаптировать модели под новые задачи, объекты, условия и робототехнические платформы


• исследовать архитектуры, представления действий и функции потерь, включая transformer-, autoregressive- и diffusion/flow matching-подходы


• формировать смеси обучающих данных, выбирать стратегии семплирования и исследовать влияние качества, объёма и состава данных на способности моделей


• разрабатывать и оптимизировать пайплайны распределённого обучения на GPU-кластерах: повышать стабильность обучения, эффективность вычислений и использования памяти


• проводить воспроизводимые эксперименты и абляционные исследования, анализировать динамику обучения и причины ошибок


• разрабатывать методики оценки моделей: измерять качество предсказаний и действий, успешность выполнения задач, устойчивость и перенос на новые условия


• совместно с командами робототехники и инфраструктуры интегрировать модели в контур управления и проверять их на реальных роботах


• формировать рекомендации по сбору дополнительных данных и улучшению обучающих выборок на основе результатов экспериментов и испытаний.

Требования

• опыт разработки и обучения современных DL-моделей в одной или нескольких областях: computer vision, video understanding/generation, multimodal learning, LLM/VLM или robot learning


• уверенное владение Python и PyTorch


• хорошее понимание современных нейросетевых архитектур, прежде всего transformers, методов оптимизации и принципов обучения на последовательностях


• практический опыт pretraining или finetuning моделей: подготовка данных, выбор функций потерь, настройка обучения, оценка качества и анализ ошибок


• опыт работы с большими датасетами и эффективными пайплайнами загрузки и обработки данных


• опыт обучения моделей на нескольких GPU и понимание принципов распределённого обучения


• умение ставить исследовательские гипотезы, планировать эксперименты и делать обоснованные выводы по их результатам


• умение писать поддерживаемый и воспроизводимый код, работать с Git и инструментами отслеживания экспериментов


• способность читать научные статьи и реализовывать перспективные подходы


• самостоятельность и готовность доводить исследовательскую идею до работающей модели совместно со смежными командами.

Будет плюсом

• опыт работы с VLA, world models, action-conditioned video models или другими моделями для embodied AI


• опыт обучения политик по демонстрациям: imitation learning, behavior cloning, diffusion policies


• опыт с diffusion, flow matching, авторегрессионной генерацией видео и моделированием пространственно-временной динамики


• опыт мультимодального предобучения, self-supervised learning или обучения на эгоцентрическом видео


• опыт переноса моделей между робототехническими платформами и работы с разными представлениями действий


• опыт reinforcement learning, offline RL или улучшения политик на основе обратной связи и результатов выполнения задач


• опыт масштабирования обучения на нескольких узлах, работы с FSDP, DeepSpeed, Megatron или аналогичными инструментами


• опыт исследования scaling laws, оптимизации смесей данных и планирования экспериментов при ограниченном вычислительном бюджете.


• опыт запуска моделей на реальных роботах, анализа неудачных действий и оптимизации инференса


• публикации, открытые проекты или воспроизводимые исследовательские результаты в ML, computer vision или робототехнике.


• навыки работы с генеративными AI-моделями


• опыт создания AI-агентов и использования их в работе будет преимуществом


• опыт использования GigaChat, Kandinsky и аналогов в продуктах, навыки создания и использования AI-агентов


• инструментальное владение AI для анализа, генерации и автоматизации.

Условия

• офисный формат работы, адрес офиса Автозаводская 23а к2


• ежегодный пересмотр зарплаты, квартальная и годовая премия


• корпоративный спортзал и зоны отдыха


• более 400 образовательных программ СберУниверситета для профессионального и карьерного развития


• программа адаптации и помощь руководителя на старте


• расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа


• гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ


• подписка Прайм с возможностью совместного использования на трёх близких


• вознаграждение за рекомендацию друзей в команду Сбера.