Middle devops инженер (LLM модели)

Мы - команда высококлассных инженеров, которые строят платформу для инференса и SFT opensource LLM. Используем продвинутые cutting edge движки для инференса, много экспериментируем и боремся за каждую дополнительную единицу в Token thoughput. Cейчас мы разрабатываем и оптимизируем инфраструктуру инференса LLM-моделей.

Вам предстоит:

• разрабатывать и оптимизировать инфраструктуру инференса LLM-моделей для минимальной задержки и высокой пропускной способности внутренних приложений и сервисов


• обеспечивать масштабируемость и надежность LLM-serving инфраструктуры; выбирать и настраивать инструменты для инференса (sglang, vLLM, llama.cpp)


• разрабатывать механизмы разграничения доступов к API-сервисам моделей


• строить систему observability и мониторинга LLM-инференс


• собирать модели в сервисы и интерфейсы (FastAPI, Flask, Tornado, Streamlit, Chainlit и т.д.).

Мы ожидаем:

• опыт в роли devops от 2 лет


• уверенные знания Linux: сеть, storage, роли/пользователи, менеджмент процессов.


• владение Kubernetes (Istio Service Mesh)


• опыт построения высокопроизводительных LLM-сервисов (sglang, vLLM)


• опыт настройки высоконагруженных прокси-серверов (nginx, Envoy, HAProxy): load balancing, rate limiting, SSL termination, health checks


• владение языками: Bash, Python, Groovy (Jenkins scripted)


• продвинутые навыки в CI/CD и оркестрации моделей.

Будет плюсом:

• опыт с AI-агентами


• понимание распределенных систем и GPU-коммуникации (NCCL, MPI, RDMA, InfiniBand)


• знание служебных компонентов LLM-пайплайна: токенизаторы, KV-cache, контекстное окно


• понимание внутренней архитектуры GPU (CUDA, cuDNN, Tensor Cores)


• Опыт работы с векторными БД (Opensearch, Qdrant, FAISS, pgvector) для RAG и других задач.

Мы предлагаем:

• гибридный формат работы (2-3 дня в офисе)


• годовой бонус и ежегодный пересмотр


• расширенный ДМС с первого дня + стоматологию и льготное страхование для семьи


• корпоративный университет Сбера, внутреннюю образовательную платформу, участие в IT-конференциях


• офис на Кутузовской с зонами отдыха и спортзалом


• льготную ипотеку в Сбере, корпоративную пенсионную программу, подписку СберПрайм с возможностью совместного использования на трёх близких, скидки от партнеров и сервисов группы компаний.