Junior ML Engineer (Multimodal Embeddings / RnD)

Мы ищем ML Engineer в RnD подразделение для работы над мультимодальной эмбеддинг-моделью. Наша цель — создание foundation-модели для векторного поиска по тексту и изображениям (в стиле ColPali, Gemini Embedding). Вам предстоит работать на стыке инженерии и исследований: создавать датасеты и бенчмарки, обучать модели (Contrastive Learning) и сравнивать эффективность кастомных решений с SOTA.

Обязанности

- Подбор и подготовка датасетов для обучения и оценки качества поиска (для разметки и обкачки данных у нас есть отдельная команда);

- Разработка и обучение эмбеддеров (в архитектуре VLM), реализация новых методов и проверка гипотез (например, Late Interaction);

- Сравнительный анализ производительности против SOTA решений (ColPali, Gemini Embedding, Qwen);

- Проектирование и поддержка пайплайнов оценки качества эмбеддингов (MTEB, IR benchmarks) для мультимодальных систем.

Требования

- Опыт от 1 года коммерческой разработки в ML с фокусом на NLP, CV или Multimodal;

- Понимание архитектур эмбеддинг-моделей (CLIP, ColBERT/ColPali), механик контрастивного обучения;

- Понимание принципов alignment модальностей в VLM и методов fine-tuning (фулл, LoRA)

- Владение экосистемой: PyTorch, HuggingFace (Transformers, Datasets).

Будет плюсом:

- Опыт обучения моделей с использованием контрастивным лоссом (InfoNCE);

- Опыт оценки качества поиска (Recall, MRR, NDCG) и проектирования экспериментов для сравнения гипотез;

- Опыт распределенного обучения на нескольких GPU/нодах (DeepSpeed, Accelerate);

- Публикации, соревнования или пет-проекты в области Multimodal Retrieval или CV.

Условия

• Кластер с GPU A100 для экспериментов;
• гибридный формат работы из Москвы
• ежегодный пересмотр зарплаты, годовая премия
• корпоративный спортзал и зоны отдыха
• система обучения для профессионального и карьерного развития
• расширенный полис ДМС с первого дня работы и страхование для семьи
• программа ипотеки для сотрудников
• бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров
• вознаграждение за рекомендацию друзей в команду Сбера.