LLM Platform/ML Ops Engineer (ASC AI Fabrique)

ASC AI Fabrique — это мета-генеративная фабрика цифровых сотрудников (ИИ-агентов), построенная на парадигме Agentic Swarm Coding. Система способна автономно проектировать, кодировать, тестировать и разворачивать ИИ-агентов по текстовому бизнес-описанию.

Обязанности

• развертывание и оптимизация LLM моделей на multi-GPU установках с tensor/pipeline/data parallelism
• организация MLOps-процессов и системная оценка качества моделей
• обеспечение production latency <2s и uptime >95% для инфраструктуры inference
• профилирование и оптимизация использования VRAM (CUDA OOM prevention)
• мониторинг GPU-производительности.

Требования

• Python (asyncio, multiprocessing, typing) Advanced уровня
• Bash/Shell scripting Advanced уровня для автоматизации развертывания
• практический опыт с vLLM, TensorRT-LLM, TGI для serving моделей
• опыт работы с квантизацией (AWQ, GPTQ, GGUF) для снижения требований к VRAM
• знание оптимизаций Flash Attention и Paged Attention
• навыки работы с PyTorch, JAX, ONNX для универсального развертывания
• опыт отладки GPU memory и понимание CUDA (Intermediate C++/CUDA).

Будет плюсом:

• опыт развертывания моделей на multi-GPU
• практика профилирования VRAM usage в production-средах
• опыт работы с моделями 480B+ параметров на кластерах GPU
• знание специфических GPU scheduling инструментов (Volcano, Kueue).

Условия

• офис в центре Сочи, ул. Войкова д.2 — всего в нескольких минутах ходьбы от побережья Черного моря
• удобный график работы – гибрид (2 дня в неделю - офис, 3 дня - удаленно)
• ежегодный пересмотр зарплаты, годовая премия
• условия для комфортной и продуктивной работы: просторные и светлые рабочие зоны, конференц-залы и переговорные комнаты, открытая веранда с видом на море
• более 400 образовательготное страхование для семьи и корпоративная пенсионная программа
• программа ипотеки д
• ных программ СберУниверситета для профессионального и карьерного развития
• расширенный ДМС, ль
• ля сотрудников
• бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров
• вознаграждение за рекомендацию друзей в команду Сбера.