Middle LLM Researcher (диффузионные текстовые модели)

Команда текстовых диффузионных моделей занимается прикладными исследованиями в области языковых моделей с альтернативными архитектурами и подходами к генерации текста: диффузионные текстовые модели, креативный генеративный ИИ.

Обязанности

• Организация SFT и RL дообучения моделей для агентного креативного ИИ
• Улучшение моделей спекулятивного декодирования для ускорения инференса LLM, доработка архитектур, пайплайна обучения и протокола оценки.
• Подготовка датасет для агентного сценария генерации русскоязычной поэзии.

Требования

• Владение инструментами и экосистемой: Linux, Python, torch, transformers, vllm.
• Практический опыт проведения экспериментов в ML: планирование, сбор обучающих данных, оценка моделей, включая человеческую разметку, статобработка результатов, масштабирование.
• Опыт работы с языковыми моделями: архитектурные модификации трансформера, распределенная тренировка, бенчмаркинг, оптимизация инференса.
• Опыт работы с данными для обучения LLM: генерация синтетики, очистка данных, подготовка датасетов для обучения.

Будет плюсом

• Практический опыт запуска распределенных задач в вычислительном кластере.
• Опыт научных публикаций по темам CS и ML.
• Опыт доведения ML решений до прода.

Условия

• комфортный современный офис рядом с м. Кутузовская
• гибридный формат работы
• ежегодный пересмотр зарплаты, годовая премия от 3х окладов
• большой спортзал и зоны отдыха
• система обучения для профессионального и карьерного развития
• расширенный полис ДМС с первого дня работы и страхование для семьи
• программа ипотеки для сотрудников со скидкой -1/3 от текущей ставки
• подписка Прайм с возможностью совместного использования на трёх близких
• вознаграждение за рекомендацию друзей в команду Сбера.