RL/ ML программист

ТехВилл – IT-компания и партнёр ВкусВилл по развитию цифровых решений.

Мы отвечаем за разработку мобильных и web- приложений, автоматизацию бизнес-процессов, искусственный интеллект, devops, инфобез ВкусВилла.

Нашими решениями пользуется свыше 1 000 000 клиентов и сотрудников ВкусВилла.

Ключевые задачи:

• Разработка и обучение мультимодальных RL-агентов для манипуляции: cоздание алгоритмов, которые интегрируют визуальное восприятие (RGB-D), языковые инструкции и проприоцептивные данные (усилие, момент) для управления манипулятором.
• ​​​​​​​Фокус на: VLA-планирование: генерация последовательности действий (траектория, хват, сила) на основе текстового/голосового запроса и визуального контекста.
• Адаптивное управление: использование обратной связи от тактильных и силомоментных датчиков для коррекции действий в реальном времени (упреждение проскальзывания, работа с деформируемыми объектами).
• Интеграция Foundation Models в контур управления: адаптация, fine-tuning и эффективное развертывание предобученных моделей (VLMs) и языковых моделей (LLMs) для задач семантического восприятия, планирования и генерации целей (reward) для RL-агента.
• Перенос из симуляции в реальность (Sim2Real) для VLA: разработка и внедрение методов (рандомизация домена, адаптивные политики) для преодоления разрыва между симуляцией и реальным миром, особенно для мультимодальных представлений.
• Полный цикл — от идеи до "железа": Участие во всем процессе: прототипирование в симуляции, оптимизация для реального времени, развертывание на бортовые компьютеры роботов (Jetson, GPU), тестирование и валидация на физических стендах.

Наш стек технологий:

• Основное: Python 3.x, PyTorch, Transformers (Hugging Face), PyTorch3D.
• RL/Робототехника: NVIDIA Isaac Lab/Gym, SKRL, Stable-Baselines3, ROS 2 (MoveIt 2, ros2_control), CUDA.
• Визуализация и симуляция: NVIDIA Isaac Sim, Blender.
• Инструменты: Docker, Git, Weights & Biases / MLflow, Linux, ONNX, TensorRT.
• Хардвер: Роботы-манипуляторы (KUKA, Franka, UR), адаптивные захваты, RGB-D камеры (Intel RealSense), тактильные и силомоментные датчики.

Мы ожидаем, что вы:

• Имеете от 2+ лет коммерческого или серьезного исследовательского опыта в ML/DL, с портфолио проектов (GitHub, публикации).
• Машинное обучение в робототехнике: разработка и обучение RL/DL моделей для управления роботами (манипуляция, локомоция). Понимание кинематики, динамики.
• Visual Language Action (VLA) / Мультимодальные модели: опыт работы с VLMs (CLIP, BLIP, ViLT) или LLMs для планирования в робототехнике (RT-1, RT-2, OpenVLA).
• Имеете продвинутые навыки в PyTorch и работе с данными.
• Имеете опыт работы с симуляторами роботов (Isaac Sim, MuJoCo, PyBullet) и понимаете проблемы Sim2Real.
• Умеете писать производственный код, а не только исследовательские ноутбуки. Опыт с C++ будет большим плюсом.
• Готовы к тесной междисциплинарной работе (программирование, ML, робототехника "низкого уровня").

Будет огромным плюсом:

• Опыт дообучения Foundation Models (LLM, VLM) под специфические задачи.
• Знакомство с иерархическим RL, обратным RL или имитационным обучением (IL, BC).
• Опыт оптимизации и развертывания нейросетей на edge-устройствах (ONNX, TensorRT, Triton).

• Работу в аккредитованной IT-компании.
• Гибрид; На ключевых этапах проекта требуется работа на месте. Ожидается готовность к периодическим визитам.
• Официальное оформление с первого дня работы и поддержка куратора во время адаптации.
• Прозрачная система развития: понятные грейды, внутреннее и внешнее обучение, индивидуальные планы развития и матрицы компетенций.
• Экологичная культура и адекватные руководители.
• Компенсация затрат на медицинские услуги, ментальное благополучие, спорт, тимбилдинги и использование AI-помощников.
• Бонус 15% с покупок во ВкусВилл.
• Социальная ответственность: поощряем донорство, оказываем материальную помощь при рождении ребёнка.
• Партнерская программа «Зелёный свет»: за рекомендации знакомых специалистов можно получить до 50 000 руб.